Wiki

Version 196 (Etienne Pallier, 07/03/2015 03:12 pm)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 188 Etienne Pallier
*Traitement batch (Python) faisant l'extraction des HK et les associant à leurs fichiers spectres respectifs dans un fichier résultat de log*
4 186 Etienne Pallier
5 8 Etienne Pallier
{{toc}}
6 3 Etienne Pallier
7 105 Etienne Pallier
8 35 Etienne Pallier
---
9 35 Etienne Pallier
10 1 Etienne Pallier
11 124 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}UTILISATION EFFECTIVE EN SALLE BLANCHE%
12 124 Etienne Pallier
13 189 Etienne Pallier
Ce logiciel est installé sur le Pc Chemcam, en salle blanche : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour
14 124 Etienne Pallier
15 106 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Utilisation_du_logiciel_C_SPEC_H
16 105 Etienne Pallier
17 105 Etienne Pallier
18 105 Etienne Pallier
---
19 123 Etienne Pallier
20 123 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}DEPOT SVN%
21 123 Etienne Pallier
22 35 Etienne Pallier
23 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
24 35 Etienne Pallier
25 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
26 35 Etienne Pallier
27 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
28 35 Etienne Pallier
29 35 Etienne Pallier
 * Administrateur : Etienne Pallier
30 35 Etienne Pallier
31 35 Etienne Pallier
 * Groupes :
32 76 Etienne Pallier
33 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
34 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
35 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
36 35 Etienne Pallier
37 35 Etienne Pallier
 * Ajout d'utilisateurs 
38 35 Etienne Pallier
39 11 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
40 42 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
41 41 Etienne Pallier
42 104 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
43 104 Etienne Pallier
44 104 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
45 104 Etienne Pallier
46 104 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
47 104 Etienne Pallier
48 104 Etienne Pallier
49 104 Etienne Pallier
50 104 Etienne Pallier
51 121 Etienne Pallier
52 11 Etienne Pallier
53 120 Etienne Pallier
---
54 120 Etienne Pallier
55 193 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}2015 Juin-Juillet - TRANSFORMATION (EN VUE D'UNE COLLABORATION AVEC C-GDL)%
56 122 Etienne Pallier
57 134 Etienne Pallier
Suite aux réunions du 29/4/15 et du 22/5/15 avec OG, WR, AC, PM, et EP,
58 152 Etienne Pallier
un nouveau besoin a été exprimé qui pourrait être résolu en faisant collaborer 2 outils existants (C-SPEC-HK et [[cgdl:|C-GDL]]),
59 134 Etienne Pallier
et en leur apportant quelques adaptations.
60 134 Etienne Pallier
61 141 Etienne Pallier
*Actions* : 
62 150 Etienne Pallier
- OG et AC : réfléchir à une simplification éventuelle de l'outil CGDL (en un seul formulaire au lieu de plusieurs onglets)
63 141 Etienne Pallier
64 1 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}BESOIN%
65 1 Etienne Pallier
66 131 Etienne Pallier
Créer un *contexte* (ensemble d'informations de description) pour décrire chaque *observation* (série de tirs ChemCam) effectuée en salle blanche.
67 131 Etienne Pallier
A ce contexte, seront automatiquement associés tous les fichiers (spectres, HK, ...) générés à l'occasion des tirs ChemCam.
68 1 Etienne Pallier
Un nouveau contexte devra être créé à chaque fois qu'on change de roche, de distance de tir, ou bien de type d'atmosphère...
69 1 Etienne Pallier
70 194 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}SOLUTION TECHNIQUE (updated 3/7/15)%
71 129 Etienne Pallier
72 130 Etienne Pallier
Pour répondre à ce besoin, plutôt que de re-développer un nouvel outil, on doit pouvoir faire collaborer efficacement deux outils existants que sont C-GDL et C-SPEC-HK,
73 130 Etienne Pallier
et qui devront en outre subir quelques adaptations plus ou moins importantes.
74 126 Etienne Pallier
*C-GDL* est une IHM Java qui permet de créer manuellement un contexte 
75 126 Etienne Pallier
*C-SPEC-HK* est un script Python qui s'exécute en permanence en arrière-plan, et qui associe automatiquement les fichiers HK (SOH) aux fichiers spectres et crée un fichier LOG quotidien décrivant ces associations (pour la journée), au fur et à mesure des tirs ChemCam
76 126 Etienne Pallier
Il faut donc faire collaborer ces 2 outils pour qu'un contexte C-GDL soit automatiquement associé aux fichiers générés par les tirs ChemCam et qui sont regroupés par C-SPEC-HK (y-compris le fichier de LOG généré par C-SPEC-HK).
77 126 Etienne Pallier
78 195 Etienne Pallier
h4. Voici une proposition de collaboration entre ces 2 outils :
79 145 Etienne Pallier
80 144 Etienne Pallier
{{thumbnail(Collaboration C-SPEC-HK et C-GDL.jpg, size=300, title=Dashboard_Controller)}}
81 143 Etienne Pallier
82 1 Etienne Pallier
_Document original (Open Office Presentation) : attachment:"Collaboration C-SPEC-HK et C-GDL.odg"_
83 194 Etienne Pallier
84 195 Etienne Pallier
h4. *ALGORITHME GENERAL (en Python)* :
85 194 Etienne Pallier
86 1 Etienne Pallier
<pre>
87 196 Etienne Pallier
    # delay between each iteration (seconds)
88 196 Etienne Pallier
    ITERATION_DELAY=60
89 194 Etienne Pallier
90 194 Etienne Pallier
    # get today date
91 194 Etienne Pallier
    today = getDate() # YYYYMMDD
92 1 Etienne Pallier
    
93 194 Etienne Pallier
    # process past data files if exist
94 194 Etienne Pallier
    processPastDataFiles(getPastDataFiles())
95 194 Etienne Pallier
    
96 195 Etienne Pallier
    # Every ITERATION_DELAY, process today data files and context files
97 194 Etienne Pallier
    while(True):
98 194 Etienne Pallier
        
99 194 Etienne Pallier
        # if exists new data files for today, re-process ALL today data files according to today context files
100 194 Etienne Pallier
        todayCurrentDataFiles = getTodayCurrentDataFiles()
101 194 Etienne Pallier
        if todayCurrentDataFiles:
102 194 Etienne Pallier
            # Move today current data files from data/ to EQM_DATA/<YYYYMMDD>/ALL/
103 194 Etienne Pallier
            archiveTodayCurrentDataFiles(todayCurrentDataFiles)     
104 194 Etienne Pallier
            # Create/Update <YYYYMMDD>_LOG.csv log file in EQM_DATA/<YYYYMMDD>/, from today current data files in EQM_DATA/<YYYYMMDD>/ALL/ 
105 194 Etienne Pallier
            updateTodayLogFile()               
106 194 Etienne Pallier
            
107 194 Etienne Pallier
        # Re-associate all related data files (from TODAY but also from the PAST) with their context files from cgdl/contexts/
108 194 Etienne Pallier
        # and put them into EQM_DATA/YYYYMMDD/BY_CONTEXT/<context name>/
109 194 Etienne Pallier
        contextFilesCreatedOrModifiedOrDeletedToday = getContextFilesCreatedOrModifiedOrDeletedToday()
110 1 Etienne Pallier
        if contextFilesCreatedOrModifiedOrDeletedToday: 
111 194 Etienne Pallier
            rebindDataFilesWithContextFilesCreatedOrModifiedOrDeletedToday(contextFilesCreatedOrModifiedOrDeletedToday)                    
112 194 Etienne Pallier
             
113 194 Etienne Pallier
        # wait 60s
114 194 Etienne Pallier
        time.sleep(ITERATION_DELAY)
115 195 Etienne Pallier
</pre>
116 194 Etienne Pallier
117 194 Etienne Pallier
118 154 Etienne Pallier
119 160 Etienne Pallier
*Explications du déroulement d'une session d'observations ChemCam (selon le diagramme ci-dessus)* :
120 159 Etienne Pallier
121 185 Etienne Pallier
Cette solution technique a été mise à jour suite à la réunion du 5/6/15 (avec OG, AC, WR, et Richard Hitier).
122 171 Etienne Pallier
123 159 Etienne Pallier
Au démarrage du pc, les 2 logiciels C-SPEC-HK et C_GDL se lancent automatiquement.
124 159 Etienne Pallier
125 190 Etienne Pallier
Voici le workflow idéal :
126 190 Etienne Pallier
127 190 Etienne Pallier
On commence par créer un contexte avec C-GDL (mais on peut très bien le faire a posteriori, après les observations). Une fois enregistré (YYYYMMDD_HHMM-HHMM_context_<parametres>.xml), ce fichier se trouve dans cgdl/contexts/
128 162 Etienne Pallier
129 162 Etienne Pallier
On effectue des tirs ChemCam. Ces tirs génèrent des fichiers (SPEC, SOH...) qui sont automatiquement placés dans le dossier data/.
130 162 Etienne Pallier
Si jamais quelques tirs ont été effectués juste pour tester ChemCam avant de faire les vraies observations, on peut retarder la date début (Start time) du contexte pour que ces tirs ne soient pas pris en compte dans ce contexte.
131 1 Etienne Pallier
132 171 Etienne Pallier
C-SPEC-HK qui tourne en arrière plan effectue le traitement suivant toutes les minutes (ou delta secondes, délai à affiner en production) :
133 162 Etienne Pallier
134 1 Etienne Pallier
1) Il complète (ou crée, si c'est la première itération) le fichier de LOG (YYYYMMDD_LOG.csv) dans le dossier EQM_DATA/YYYYMMDD/
135 162 Etienne Pallier
à partir des fichiers qui sont dans data/
136 172 Etienne Pallier
C'est un fichier texte contenant des données tabulaires (CSV) qui font le lien entre les fichiers spectres et les fichiers HK (SOH et *+_TOUS_+* les autres) associés, en extrayant quelques paramètres essentiels dans les 2 types de fichiers
137 1 Etienne Pallier
138 163 Etienne Pallier
2) Il déplace (move) les fichiers concernés de data/ vers EQM_DATA/YYYYMMDD/ALL/, puisqu'ils ont été traités
139 1 Etienne Pallier
140 165 Etienne Pallier
3) Enfin, il associe les fichiers de données avec les contextes 
141 174 Etienne Pallier
142 185 Etienne Pallier
Pour cela, il suit cet algorithme :
143 165 Etienne Pallier
144 163 Etienne Pallier
* pour chaque fichier de contexte trouvé dans le dossier cgdl/contexts/ qui est à la date du jour :
145 177 Etienne Pallier
  
146 184 Etienne Pallier
 * si un dossier *du même nom* n'existe pas déjà dans EQM_DATA/YYYYMMDD/BY_CONTEXT/, il le crée 
147 184 Etienne Pallier
 * si un dossier *du même nom* existe (qu'il vienne d'être créé ou bien qu'il soit déjà là depuis longtemps), il y copie (copy) tous les fichiers manquants (par rapport à ceux qui devraient y être)
148 184 Etienne Pallier
les fichiers à copier sont :
149 1 Etienne Pallier
150 184 Etienne Pallier
  * le fichier de contexte 
151 184 Etienne Pallier
  * tous les fichiers du dossier EQM_DATA/YYYYMMDD/ALL/ dont la date est comprise entre le "start time" et le "stop time" du contexte
152 184 Etienne Pallier
  * la partie du fichier LOG concernée (on fera une sélection de "start time" à "stop time")
153 184 Etienne Pallier
154 192 Etienne Pallier
* s'il reste des dossiers qui n'ont pas de correspondance avec un contexte (parce qu'un contexte a été renommé ou supprimé), il leur ajoute le préfixe "_DELETED_"
155 1 Etienne Pallier
156 182 Etienne Pallier
_Par ce moyen, on peut créer un contexte qui se termine (bien) plus tard que l'heure actuelle (les nouveaux fichiers seront ainsi ajoutés au fur et à mesure de leur arrivée),
157 184 Etienne Pallier
et on s'assure d'avoir un dossier par contexte, contenant le fichier de contexte (+LOG) et tous les fichiers de données associés.
158 184 Etienne Pallier
Et ces dossiers devraient rester à jour même si le nom du contexte est modifié en cours de journée, voire même supprimé_.
159 179 Etienne Pallier
160 192 Etienne Pallier
NB : il faudra penser à supprimer manuellement de temps en temps les dossiers préfixés par "_DELETED_"
161 166 Etienne Pallier
162 166 Etienne Pallier
Les fichiers de données qui n'ont pas été associés à un contexte (soit par ce qu'aucun contexte n'a été créé dans la journée, soit parce qu'il n'y a pas de contexte créé pour cette période là)
163 166 Etienne Pallier
seront de toutes façons dans le dossier EQM_DATA/YYYYMMDD/ALL/
164 166 Etienne Pallier
165 168 Etienne Pallier
Une fois les sessions d'observations ChemCam terminées, on peut fermer le logiciel C-GDL,
166 168 Etienne Pallier
mais il n'est pas nécessaire de terminer le logiciel C-SPEC-HK car il s'arrêtera automatiquement lors de l'extinction du pc (brutalement, mais, sauf cas exceptionnel, sans dommage)
167 1 Etienne Pallier
168 168 Etienne Pallier
Il sera cependant préférable d'attendre quelques minutes avant d'éteindre le pc après la création, la modification, ou la suppression d'un contexte,
169 168 Etienne Pallier
le temps que C-SPEC-HK traite ce changement dans une nouvelle itération...
170 162 Etienne Pallier
171 161 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}ADAPTATIONS NÉCESSAIRES SUR LES 2 LOGICIELS%
172 133 Etienne Pallier
173 149 Etienne Pallier
*Adaptations de C-GDL* : voir [[cgdl:wiki#Collaboration-avec-loutil-C-SPEC-HK|C-GDL]]
174 1 Etienne Pallier
175 133 Etienne Pallier
*Adaptations de C-SPEC-HK* : 
176 1 Etienne Pallier
177 169 Etienne Pallier
(Le fichier de LOG est un tableau de synthèse qui sera utile pour la partie processing, sorte de masterlist)
178 138 Etienne Pallier
179 169 Etienne Pallier
Transférer TOUS les types de fichiers (TXT, RAW…)
180 1 Etienne Pallier
181 138 Etienne Pallier
Fichier SOH le plus près AVANT le transmit (génère le spectre)
182 138 Etienne Pallier
(ce fichier SOH a été fait après le tir, et avant le transmit)
183 138 Etienne Pallier
184 138 Etienne Pallier
Changer label Distance : dist(mm) => dist SEED (mm)
185 138 Etienne Pallier
186 169 Etienne Pallier
Convertir la colonne pm en distance réelle : (quelqu'un donnera la formule) « dist real (mm)»
187 138 Etienne Pallier
188 138 Etienne Pallier
C-Spec-HK est déjà installé sur le pc-EGSE. Il faudra y ajouter C-GDL.
189 138 Etienne Pallier
190 138 Etienne Pallier
Fichier LOG : Produire un CSV + un fichier HTML (ou fichier texte séparé par tabulations) pour qu'il soit lisible sans devoir passer par Open Office
191 138 Etienne Pallier
192 138 Etienne Pallier
DARK BEFORE/AFTER : priorité au DARK AFTER
193 138 Etienne Pallier
Le DARK BEFORE est très rare, il existerait seulement si il y a 2 DARK à la suite (le 2ème serait le DARK BEFORE du SPECTRE LIBS qui arrive ensuite)
194 138 Etienne Pallier
=> pour simplifier, on peut le supprimer (donc supprimer 2 colonnes dans le fichier LOG)
195 138 Etienne Pallier
196 169 Etienne Pallier
Objectif : passer le délai de la boucle du traitement quotidien à 10 secondes (au lieu de 60 actuellement)
197 138 Etienne Pallier
198 1 Etienne Pallier
Les 2 fichiers "LOG général" et "LOG du jour" doivent s’afficher automatiquement au démarrage
199 1 Etienne Pallier
200 1 Etienne Pallier
Le LOG général affiche l'état en cours d'exécution du script, pour savoir où on en est :
201 138 Etienne Pallier
- a) traitement global des fichiers, avec affichage des dossiers jours créés
202 1 Etienne Pallier
Ne pas afficher le contenu de /home/vx/EQM_DATA/
203 138 Etienne Pallier
(log files « created » in …)
204 138 Etienne Pallier
car ces dossiers ont été créés antérieurement
205 138 Etienne Pallier
N’afficher le contenu QUE du dossier qui vient d’être créé
206 138 Etienne Pallier
- b) traitement quotidien des fichiers du jour, avec affichage de : 
207 138 Etienne Pallier
  - numéro d'itération
208 138 Etienne Pallier
  - fichiers SPECTRE et SOH traités (+ leur nombre)
209 138 Etienne Pallier
210 138 Etienne Pallier
Le LOG quotidien affiche le contenu du fichier LOG du jour (qui se remplit au fur et à mesure)
211 138 Etienne Pallier
212 138 Etienne Pallier
Mettre les 4 champs de température laser
213 138 Etienne Pallier
214 138 Etienne Pallier
Supprimer nshots
215 138 Etienne Pallier
216 169 Etienne Pallier
Dans l'idéal, si on veut vraiment faire collaborer les 3 outils C-Spec-HK, C-GDL, et la prise de photos par la webcam du pc portable de la salle blanche (...), 
217 169 Etienne Pallier
la communication avec la webcam nécessiterait de mettre les 2 pc (PC-EGSE et le portable webcam) en réseau (soit sur le réseau global IRAP, soit sur un réseau privé salle blanche avec un hub ou switch ; sachant que pc-EGSE est déjà en réseau privé avec le BU-EGSE, il faudrait donc mettre ces 3 éléments sur un même réseau, pas simple...).
218 169 Etienne Pallier
En attendant, on pourrait se contenter d'un "mode dégradé", qui consisterait à copier manuellement (via clé ou disque usb) les photos de la webcam sur le pc-EGSE
219 138 Etienne Pallier
220 169 Etienne Pallier
(Changement Technique internes : Ne laisser que c-spec-hk-workflow à la racine du projet, le reste doit être dans un sous-dossier (contiendra c-spec-hk + tests))
221 138 Etienne Pallier
222 138 Etienne Pallier
223 138 Etienne Pallier
224 138 Etienne Pallier
225 138 Etienne Pallier
226 138 Etienne Pallier
227 138 Etienne Pallier
228 138 Etienne Pallier
229 138 Etienne Pallier
230 138 Etienne Pallier
231 138 Etienne Pallier
232 138 Etienne Pallier
233 138 Etienne Pallier
234 138 Etienne Pallier
235 138 Etienne Pallier
236 138 Etienne Pallier
237 138 Etienne Pallier
238 138 Etienne Pallier
239 138 Etienne Pallier
240 138 Etienne Pallier
241 138 Etienne Pallier
242 138 Etienne Pallier
243 138 Etienne Pallier
244 138 Etienne Pallier
245 138 Etienne Pallier
246 138 Etienne Pallier
247 138 Etienne Pallier
248 138 Etienne Pallier
---
249 126 Etienne Pallier
250 120 Etienne Pallier
251 120 Etienne Pallier
---
252 128 Etienne Pallier
253 128 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}SPECIFICATIONS%
254 128 Etienne Pallier
255 1 Etienne Pallier
256 11 Etienne Pallier
257 12 Etienne Pallier
h3. Schéma de connexion
258 11 Etienne Pallier
259 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
260 11 Etienne Pallier
261 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
262 11 Etienne Pallier
- MU : fait les tirs
263 11 Etienne Pallier
- BU : analyse les spectres
264 11 Etienne Pallier
265 11 Etienne Pallier
SOH (Spectra O? HK)
266 11 Etienne Pallier
267 30 Etienne Pallier
h3. Types d’observations
268 30 Etienne Pallier
269 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
270 11 Etienne Pallier
271 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
272 11 Etienne Pallier
-----	---------	------------------
273 11 Etienne Pallier
274 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
275 11 Etienne Pallier
276 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
277 1 Etienne Pallier
278 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
279 11 Etienne Pallier
280 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
281 11 Etienne Pallier
282 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
283 11 Etienne Pallier
284 11 Etienne Pallier
5		32 		BS
285 11 Etienne Pallier
286 11 Etienne Pallier
287 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
288 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
289 11 Etienne Pallier
290 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
291 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
292 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
293 11 Etienne Pallier
294 31 Etienne Pallier
h3. Fichier spectre
295 11 Etienne Pallier
296 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
297 11 Etienne Pallier
A représenter sur axe 
298 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
299 11 Etienne Pallier
- Y : intensité
300 11 Etienne Pallier
301 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
302 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
303 1 Etienne Pallier
304 32 Etienne Pallier
h3. Stratégie de développement
305 13 Etienne Pallier
306 11 Etienne Pallier
Prendre le last stack only
307 11 Etienne Pallier
308 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
309 11 Etienne Pallier
310 11 Etienne Pallier
1 fich/jour
311 11 Etienne Pallier
312 11 Etienne Pallier
Methods to write :
313 11 Etienne Pallier
314 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
315 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
316 11 Etienne Pallier
317 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
318 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
319 16 Etienne Pallier
=> regarde un peu autour (avant et après)
320 11 Etienne Pallier
321 11 Etienne Pallier
findAutofocus(...)
322 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
323 11 Etienne Pallier
324 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
325 11 Etienne Pallier
326 11 Etienne Pallier
data_Feb25_2014_5 
327 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
328 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
329 1 Etienne Pallier
330 11 Etienne Pallier
id, SPECT_file, SOH_file, 
331 1 Etienne Pallier
332 11 Etienne Pallier
// from *_SOH.TXT file :
333 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
334 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
335 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
336 15 Etienne Pallier
pm(cnts), 					// Motor_Position
337 11 Etienne Pallier
338 11 Etienne Pallier
// from *_spect.TXT file :
339 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
340 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
341 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
342 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
343 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
344 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
345 11 Etienne Pallier
346 11 Etienne Pallier
347 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
348 11 Etienne Pallier
349 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
350 11 Etienne Pallier
351 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
352 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
353 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
354 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
355 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
356 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
357 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
358 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
359 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
360 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
361 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
362 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
363 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
364 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
365 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
366 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
367 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
368 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
369 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
370 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
371 15 Etienne Pallier
372 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
373 43 Etienne Pallier
374 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
375 43 Etienne Pallier
376 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
377 43 Etienne Pallier
378 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
379 43 Etienne Pallier
380 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
381 47 Etienne Pallier
382 136 Etienne Pallier
---
383 136 Etienne Pallier
384 83 Etienne Pallier
h2. RECUPERATION DU PROJET
385 91 Etienne Pallier
386 83 Etienne Pallier
387 83 Etienne Pallier
*a) Directement, depuis svn*
388 83 Etienne Pallier
389 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
390 83 Etienne Pallier
391 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
392 1 Etienne Pallier
393 90 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
394 90 Etienne Pallier
395 91 Etienne Pallier
396 58 Etienne Pallier
397 1 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
398 1 Etienne Pallier
399 1 Etienne Pallier
https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
400 86 Etienne Pallier
401 137 Etienne Pallier
---
402 137 Etienne Pallier
403 95 Etienne Pallier
h2. EXECUTION
404 92 Etienne Pallier
405 92 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
406 92 Etienne Pallier
407 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
408 92 Etienne Pallier
409 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
410 92 Etienne Pallier
411 92 Etienne Pallier
sudo port select --set python python27
412 92 Etienne Pallier
413 92 Etienne Pallier
$ which python
414 92 Etienne Pallier
/opt/local/bin/python
415 92 Etienne Pallier
416 92 Etienne Pallier
$ python --version
417 92 Etienne Pallier
Python 2.7.9
418 92 Etienne Pallier
419 92 Etienne Pallier
Mettre à jour MacPort :
420 92 Etienne Pallier
sudo port -v selfupdate
421 92 Etienne Pallier
sudo port upgrade outdated
422 92 Etienne Pallier
423 92 Etienne Pallier
424 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
425 92 Etienne Pallier
426 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
427 92 Etienne Pallier
428 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
429 92 Etienne Pallier
430 94 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
431 86 Etienne Pallier
432 89 Etienne Pallier
h3. 2) EXECUTING TESTS
433 89 Etienne Pallier
434 86 Etienne Pallier
h4. Depuis Eclipse
435 86 Etienne Pallier
436 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
437 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
438 86 Etienne Pallier
Run As / Python unit-test
439 89 Etienne Pallier
440 86 Etienne Pallier
441 89 Etienne Pallier
h4. En mode ligne de commande
442 86 Etienne Pallier
443 72 Etienne Pallier
h5. TESTS faits avec Python 2.7
444 72 Etienne Pallier
445 1 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
446 72 Etienne Pallier
447 73 Etienne Pallier
cd test/
448 1 Etienne Pallier
449 72 Etienne Pallier
$ py27 premiertest.py
450 1 Etienne Pallier
<pre>
451 72 Etienne Pallier
...
452 72 Etienne Pallier
----------------------------------------------------------------------
453 1 Etienne Pallier
Ran 3 tests in 0.000s
454 72 Etienne Pallier
455 72 Etienne Pallier
OK
456 73 Etienne Pallier
</pre>
457 72 Etienne Pallier
458 72 Etienne Pallier
$ py27 c_spec_hk_TEST.py
459 72 Etienne Pallier
460 72 Etienne Pallier
<pre>
461 72 Etienne Pallier
...
462 1 Etienne Pallier
======================================================================
463 62 Etienne Pallier
----------------------------------------------------------------------
464 1 Etienne Pallier
Ran 14 tests in 5.833s
465 1 Etienne Pallier
466 72 Etienne Pallier
OK
467 72 Etienne Pallier
</pre>
468 1 Etienne Pallier
469 62 Etienne Pallier
470 72 Etienne Pallier
471 72 Etienne Pallier
472 70 Etienne Pallier
*2) Tests de Performance (Benchmark)*
473 70 Etienne Pallier
474 62 Etienne Pallier
Depuis la racine du projet :
475 62 Etienne Pallier
476 62 Etienne Pallier
<pre>
477 62 Etienne Pallier
$ py27 c_spec_hk.py -t
478 62 Etienne Pallier
...Executing main program...
479 62 Etienne Pallier
Testing execution time of several methods
480 62 Etienne Pallier
481 62 Etienne Pallier
All times are in SECONDS
482 62 Etienne Pallier
483 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
484 62 Etienne Pallier
0.000790863037109
485 62 Etienne Pallier
486 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
487 62 Etienne Pallier
0.000117941689491
488 62 Etienne Pallier
489 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
490 62 Etienne Pallier
0.0429699897766
491 62 Etienne Pallier
492 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
493 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
494 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
495 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
496 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
497 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
498 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
499 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
500 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
501 62 Etienne Pallier
total 56
502 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
503 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
504 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
505 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
506 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
507 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
508 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
509 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
510 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
511 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
512 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
513 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
514 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
515 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
516 62 Etienne Pallier
517 62 Etienne Pallier
1.91459012032
518 1 Etienne Pallier
Average time per day : 0.273513
519 1 Etienne Pallier
520 1 Etienne Pallier
*** finished TIMING ***
521 62 Etienne Pallier
522 1 Etienne Pallier
</pre>
523 86 Etienne Pallier
524 89 Etienne Pallier
525 86 Etienne Pallier
526 72 Etienne Pallier
h5. TESTS faits avec Python 2.6
527 1 Etienne Pallier
528 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
529 1 Etienne Pallier
530 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
531 1 Etienne Pallier
532 72 Etienne Pallier
cd test/
533 72 Etienne Pallier
534 72 Etienne Pallier
$ python premiertest.py
535 72 Etienne Pallier
<pre>
536 72 Etienne Pallier
...
537 72 Etienne Pallier
----------------------------------------------------------------------
538 72 Etienne Pallier
Ran 3 tests in 0.000s
539 72 Etienne Pallier
540 72 Etienne Pallier
OK
541 72 Etienne Pallier
</pre>
542 72 Etienne Pallier
543 72 Etienne Pallier
$ python c_spec_hk_TEST.py
544 72 Etienne Pallier
545 72 Etienne Pallier
<pre>
546 72 Etienne Pallier
...
547 72 Etienne Pallier
======================================================================
548 72 Etienne Pallier
----------------------------------------------------------------------
549 72 Etienne Pallier
Ran 14 tests in 6.742s
550 72 Etienne Pallier
551 72 Etienne Pallier
OK
552 72 Etienne Pallier
</pre>
553 72 Etienne Pallier
554 72 Etienne Pallier
---
555 72 Etienne Pallier
556 72 Etienne Pallier
557 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
558 72 Etienne Pallier
559 58 Etienne Pallier
Depuis la racine du projet 
560 58 Etienne Pallier
561 58 Etienne Pallier
$ ./c_spec_hk.py -t
562 58 Etienne Pallier
<pre>
563 58 Etienne Pallier
...Executing main program...
564 58 Etienne Pallier
Testing execution time of several methods
565 58 Etienne Pallier
566 58 Etienne Pallier
All times are in SECONDS
567 58 Etienne Pallier
568 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
569 58 Etienne Pallier
0.00105306601524
570 58 Etienne Pallier
571 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
572 58 Etienne Pallier
0.000152537894249
573 58 Etienne Pallier
574 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
575 58 Etienne Pallier
0.0518409013748
576 58 Etienne Pallier
577 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
578 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
579 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
580 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
581 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
582 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
583 59 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
584 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
585 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
586 58 Etienne Pallier
total 56
587 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
588 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
589 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
590 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
591 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
592 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
593 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
594 80 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
595 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
596 25 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
597 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
598 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
599 22 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
600 21 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
601 21 Etienne Pallier
602 77 Etienne Pallier
2.33647012711
603 21 Etienne Pallier
Average time per day : 0.333781
604 21 Etienne Pallier
605 1 Etienne Pallier
*** finished TIMING ***
606 96 Etienne Pallier
</pre>
607 21 Etienne Pallier
608 97 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
609 1 Etienne Pallier
610 88 Etienne Pallier
h4. Depuis Eclipse
611 88 Etienne Pallier
612 21 Etienne Pallier
clic-droit sur c_spec_hk.py
613 97 Etienne Pallier
Run As / Python Run
614 21 Etienne Pallier
615 21 Etienne Pallier
h4. In Command line mode
616 1 Etienne Pallier
617 80 Etienne Pallier
	a) Pour voir l'aide :
618 81 Etienne Pallier
619 80 Etienne Pallier
$ python c_spec_hk.py -h
620 1 Etienne Pallier
621 80 Etienne Pallier
...Executing main program...
622 1 Etienne Pallier
623 81 Etienne Pallier
Usage:
624 1 Etienne Pallier
625 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
626 1 Etienne Pallier
OR
627 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
628 1 Etienne Pallier
629 80 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
630 80 Etienne Pallier
631 80 Etienne Pallier
All options available are (none is mandatory) :
632 80 Etienne Pallier
-d : activate DEBUG mode
633 80 Etienne Pallier
-h : print this HELP message
634 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
635 80 Etienne Pallier
-t : test execution TIME of several methods
636 1 Etienne Pallier
-v : print current VERSION number
637 21 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
638 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
639 81 Etienne Pallier
640 80 Etienne Pallier
641 23 Etienne Pallier
642 81 Etienne Pallier
	b) Speed testing (benchmark)
643 21 Etienne Pallier
644 21 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
645 21 Etienne Pallier
646 21 Etienne Pallier
647 82 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
648 1 Etienne Pallier
649 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
650 82 Etienne Pallier
651 21 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
652 21 Etienne Pallier
653 82 Etienne Pallier
Exemple d'affichage attendu :
654 21 Etienne Pallier
655 82 Etienne Pallier
...Executing main program...
656 82 Etienne Pallier
657 21 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
658 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
659 82 Etienne Pallier
660 21 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
661 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
662 82 Etienne Pallier
663 21 Etienne Pallier
Log files created in /tmp/LOGS/ :
664 21 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
665 36 Etienne Pallier
666 54 Etienne Pallier
667 36 Etienne Pallier
---
668 52 Etienne Pallier
669 50 Etienne Pallier
h2. DAILY WORKFLOW
670 52 Etienne Pallier
671 1 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
672 52 Etienne Pallier
673 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
674 1 Etienne Pallier
675 1 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
676 52 Etienne Pallier
677 37 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
678 53 Etienne Pallier
679 50 Etienne Pallier
<pre>
680 50 Etienne Pallier
681 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
682 50 Etienne Pallier
683 36 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
684 36 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
685 142 Etienne Pallier
        - le fichier log produit (CSV)
686 40 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
687 48 Etienne Pallier
688 1 Etienne Pallier
</pre>
689 51 Etienne Pallier
690 48 Etienne Pallier
h3. 2) WORKFLOW
691 57 Etienne Pallier
692 55 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
693 1 Etienne Pallier
694 39 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
695 57 Etienne Pallier
696 1 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
697 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
698 57 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
699 57 Etienne Pallier
700 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
701 57 Etienne Pallier
702 48 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
703 1 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
704 51 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
705 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
706 1 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
707 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
708 1 Etienne Pallier
709 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE