Wiki

Version 246 (Etienne Pallier, 03/10/2016 02:51 pm)

1 1 Etienne Pallier
h1. Wiki
2 1 Etienne Pallier
3 209 Etienne Pallier
*Traitement batch (Python) faisant l'extraction des HK et les associant à leurs fichiers spectres respectifs dans un fichier résultat de log et en les contextualisant* 
4 209 Etienne Pallier
5 220 Etienne Pallier
HELP sur ce wiki : http://www.redmine.org/projects/redmine/wiki/User_Guide
6 1 Etienne Pallier
7 211 Etienne Pallier
8 8 Etienne Pallier
{{toc}}
9 3 Etienne Pallier
10 105 Etienne Pallier
11 1 Etienne Pallier
---
12 211 Etienne Pallier
13 217 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}STATUT ACTUEL DU LOGICIEL%
14 1 Etienne Pallier
15 244 Etienne Pallier
*Version 2.0 installée début mars 2016*
16 218 Etienne Pallier
17 223 Etienne Pallier
https://projects.irap.omp.eu/projects/cspechkanalyser/roadmap (puis aller sur la version 2.0) 
18 221 Etienne Pallier
19 215 Etienne Pallier
version:"Version 2.0" (lien direct vers la version 2.0)
20 215 Etienne Pallier
21 225 Etienne Pallier
Trié par sujet : https://projects.irap.omp.eu/projects/cspechkanalyser/issues?page=1&per_page=50&query_id=190
22 224 Etienne Pallier
23 215 Etienne Pallier
(ou bien cliquer sur l'onglet Roadmap)
24 215 Etienne Pallier
25 215 Etienne Pallier
26 215 Etienne Pallier
---
27 1 Etienne Pallier
28 231 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}PRESENTATION DU LOGICIEL%
29 231 Etienne Pallier
30 231 Etienne Pallier
31 231 Etienne Pallier
---
32 231 Etienne Pallier
33 233 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Presentation
34 232 Etienne Pallier
35 124 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}UTILISATION EFFECTIVE EN SALLE BLANCHE%
36 124 Etienne Pallier
37 234 Etienne Pallier
Ce logiciel est installé sur le Pc Chemcam, en salle blanche
38 124 Etienne Pallier
39 235 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Utilisation
40 231 Etienne Pallier
41 231 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}INSTALLATION%
42 231 Etienne Pallier
43 236 Etienne Pallier
http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_15_16_2_16
44 105 Etienne Pallier
45 105 Etienne Pallier
---
46 123 Etienne Pallier
47 246 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}ALGORITHM%
48 237 Etienne Pallier
49 1 Etienne Pallier
50 238 Etienne Pallier
<pre>
51 238 Etienne Pallier
************* MAIN ALGO ***************************************************************************************
52 237 Etienne Pallier
# Process unprocessed data files, or context file changes since previous iteration
53 237 Etienne Pallier
# (continuously, every processing_duration+DELAY_BETWEEN_ITERATIONS seconds)
54 237 Etienne Pallier
iteration=1
55 237 Etienne Pallier
while(True):
56 241 Etienne Pallier
    # 1) (optional) CONTEXT CHANGES processing 
57 241 Etienne Pallier
    (This step is ONLY necessary if we want to be able to change some old contexts and have their associated data updated)
58 1 Etienne Pallier
    if exists contextsChanges since previous iteration:
59 237 Etienne Pallier
        processContextChanges(contextsChanges) # change time > last iteration time
60 241 Etienne Pallier
    # 2) (mandatory) NEW DATA processing
61 237 Etienne Pallier
    if exists unprocessedData:
62 1 Etienne Pallier
        processUnprocessedData(unprocessedData)
63 237 Etienne Pallier
    iteration++
64 237 Etienne Pallier
*******************************************************************************************************************************
65 237 Etienne Pallier
66 237 Etienne Pallier
        
67 238 Etienne Pallier
************* MAIN FUNCTIONS ******************************************************************************
68 237 Etienne Pallier
processContextChanges(contextsChanges):
69 237 Etienne Pallier
    # Process new CONTEXT changes and associate them with related (old) DATA
70 237 Etienne Pallier
    foreach contextChanges as cf:
71 237 Etienne Pallier
        if cf is DELETE: 
72 237 Etienne Pallier
            cf.deleteRelatedFolder()
73 237 Etienne Pallier
        else: 
74 237 Etienne Pallier
            ' create or update '
75 237 Etienne Pallier
            relatedDataFiles = cf.getRelatedData()
76 237 Etienne Pallier
            # (1)
77 237 Etienne Pallier
            dataFolder = cf.bindToRelatedData(relatedDataFiles)
78 237 Etienne Pallier
            HKLOG.createFileIn(dataFolder)
79 237 Etienne Pallier
80 237 Etienne Pallier
processUnprocessedData(unprocessedData):
81 237 Etienne Pallier
    # There will always be only 1 day to process, 
82 237 Etienne Pallier
    # except for the FIRST TIME the software is used
83 237 Etienne Pallier
    # or when reprocessing ALL data
84 237 Etienne Pallier
    # (lots of old data to process)
85 237 Etienne Pallier
    for each day in unprocessedData:
86 237 Etienne Pallier
        
87 237 Etienne Pallier
        dataForOneDay = getDataForDay(day)
88 237 Etienne Pallier
89 237 Etienne Pallier
        # a) archiveData(dataForOneDay):
90 237 Etienne Pallier
        # __updateFolderWithData(generalFolderForDay(day), dataForOneDay):
91 237 Etienne Pallier
        dataFolder = dataForOneDay.archive()
92 237 Etienne Pallier
        HKLOG.createFileIn(dataFolder)
93 237 Etienne Pallier
        
94 237 Etienne Pallier
        # b) __contextualizeData(dataForOneDay):
95 237 Etienne Pallier
        relatedContexts = dataForOneDay.getRelatedContexts()
96 237 Etienne Pallier
        foreach cf in relatedContexts:
97 237 Etienne Pallier
            # __updateFolderWithData(cf, dataForOneDay):
98 237 Etienne Pallier
            # NO DELETE, ONLY CREATE/UPDATE
99 237 Etienne Pallier
            relatedDataFiles = dataForOneDay.selectForContext(cf)
100 237 Etienne Pallier
            # (2)
101 237 Etienne Pallier
            dataFolder = cf.bindToRelatedData(relatedDataFiles)
102 237 Etienne Pallier
            HKLOG.createFileIn(dataFolder)
103 237 Etienne Pallier
            
104 237 Etienne Pallier
NB: (1) and (2) are exactly the same process
105 1 Etienne Pallier
*******************************************************************************************************************************
106 239 Etienne Pallier
</pre>
107 237 Etienne Pallier
108 237 Etienne Pallier
109 237 Etienne Pallier
---
110 237 Etienne Pallier
111 123 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}DEPOT SVN%
112 123 Etienne Pallier
113 35 Etienne Pallier
114 35 Etienne Pallier
(cliquer sur l'onglet Dépôt)
115 35 Etienne Pallier
116 35 Etienne Pallier
 * URL du dépôt : https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk/
117 35 Etienne Pallier
118 35 Etienne Pallier
 * Administration du dépôt : https://usvn-chemcam.irap.omp.eu
119 35 Etienne Pallier
120 35 Etienne Pallier
 * Administrateur : Etienne Pallier
121 35 Etienne Pallier
122 35 Etienne Pallier
 * Groupes :
123 76 Etienne Pallier
124 35 Etienne Pallier
   * grp-admin-chemcam : Admin du dépot CHEMCAM (RW sur racine).
125 35 Etienne Pallier
   * grp-chemcam : Les développeurs de CHEMCAM (RW sur branches).
126 35 Etienne Pallier
   * On peut également créer un groupe grp-readonly-chemcam (et mettre les droits en read-only sur tout le projet)
127 35 Etienne Pallier
128 35 Etienne Pallier
 * Ajout d'utilisateurs 
129 35 Etienne Pallier
130 11 Etienne Pallier
  * On peut ajouter des utilisateurs extérieurs via l'interface web, puis les ajouter dans les groupes (en tant que "Utilisateurs affectés").
131 42 Etienne Pallier
  * Dans le cas des utilisateurs IRAP, il faut qu'ils se connectent une première fois sur https://usvn-idems.irap.omp.eu avec leur login/mdp IRAP avant de pouvoir être affectés dans les groupes du repository.
132 41 Etienne Pallier
133 104 Etienne Pallier
 * Dashboard : le dashboard du projet est https://usvn-chemcam.irap.omp.eu (=interface de gestion des utilisateurs, groupes et droits d'accès sur le repo, et également navigateur/explorateur du repo)
134 104 Etienne Pallier
135 104 Etienne Pallier
 * Accès : Le repo SVN est accessible depuis partout dans le monde (svn-over-https only), la racine du repo est https://usvn-chemcam.irap.omp.eu/repo/chemcam/
136 104 Etienne Pallier
137 104 Etienne Pallier
 * TODO: passer sur SourceSup : https://sourcesup.renater.fr, https://sourcesup.cru.fr/
138 104 Etienne Pallier
139 104 Etienne Pallier
140 104 Etienne Pallier
141 104 Etienne Pallier
142 121 Etienne Pallier
143 11 Etienne Pallier
144 120 Etienne Pallier
---
145 120 Etienne Pallier
146 243 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}TRANSFORMATION EN VUE D'UNE COLLABORATION AVEC C-GDL (2015 Juin-Juillet) => VERSION 2%
147 122 Etienne Pallier
148 134 Etienne Pallier
Suite aux réunions du 29/4/15 et du 22/5/15 avec OG, WR, AC, PM, et EP,
149 152 Etienne Pallier
un nouveau besoin a été exprimé qui pourrait être résolu en faisant collaborer 2 outils existants (C-SPEC-HK et [[cgdl:|C-GDL]]),
150 134 Etienne Pallier
et en leur apportant quelques adaptations.
151 134 Etienne Pallier
152 141 Etienne Pallier
*Actions* : 
153 150 Etienne Pallier
- OG et AC : réfléchir à une simplification éventuelle de l'outil CGDL (en un seul formulaire au lieu de plusieurs onglets)
154 141 Etienne Pallier
155 197 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}1. BESOIN%
156 1 Etienne Pallier
157 131 Etienne Pallier
Créer un *contexte* (ensemble d'informations de description) pour décrire chaque *observation* (série de tirs ChemCam) effectuée en salle blanche.
158 131 Etienne Pallier
A ce contexte, seront automatiquement associés tous les fichiers (spectres, HK, ...) générés à l'occasion des tirs ChemCam.
159 1 Etienne Pallier
Un nouveau contexte devra être créé à chaque fois qu'on change de roche, de distance de tir, ou bien de type d'atmosphère...
160 1 Etienne Pallier
161 198 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}2. SOLUTION TECHNIQUE (updated 3/7/15)%
162 129 Etienne Pallier
163 130 Etienne Pallier
Pour répondre à ce besoin, plutôt que de re-développer un nouvel outil, on doit pouvoir faire collaborer efficacement deux outils existants que sont C-GDL et C-SPEC-HK,
164 130 Etienne Pallier
et qui devront en outre subir quelques adaptations plus ou moins importantes.
165 126 Etienne Pallier
*C-GDL* est une IHM Java qui permet de créer manuellement un contexte 
166 126 Etienne Pallier
*C-SPEC-HK* est un script Python qui s'exécute en permanence en arrière-plan, et qui associe automatiquement les fichiers HK (SOH) aux fichiers spectres et crée un fichier LOG quotidien décrivant ces associations (pour la journée), au fur et à mesure des tirs ChemCam
167 126 Etienne Pallier
Il faut donc faire collaborer ces 2 outils pour qu'un contexte C-GDL soit automatiquement associé aux fichiers générés par les tirs ChemCam et qui sont regroupés par C-SPEC-HK (y-compris le fichier de LOG généré par C-SPEC-HK).
168 126 Etienne Pallier
169 198 Etienne Pallier
h4. 2.1 *Proposition de collaboration entre ces 2 outils*
170 145 Etienne Pallier
171 144 Etienne Pallier
{{thumbnail(Collaboration C-SPEC-HK et C-GDL.jpg, size=300, title=Dashboard_Controller)}}
172 143 Etienne Pallier
173 1 Etienne Pallier
_Document original (Open Office Presentation) : attachment:"Collaboration C-SPEC-HK et C-GDL.odg"_
174 194 Etienne Pallier
175 198 Etienne Pallier
h4. 2.2 *ALGORITHME GENERAL (en Python, mais lisible pour tout le monde)*
176 194 Etienne Pallier
177 205 Etienne Pallier
<pre><code class="python">
178 196 Etienne Pallier
    # delay between each iteration (seconds)
179 196 Etienne Pallier
    ITERATION_DELAY=60
180 194 Etienne Pallier
181 194 Etienne Pallier
    # get today date
182 194 Etienne Pallier
    today = getDate() # YYYYMMDD
183 1 Etienne Pallier
    
184 194 Etienne Pallier
    # process past data files if exist
185 194 Etienne Pallier
    processPastDataFiles(getPastDataFiles())
186 194 Etienne Pallier
    
187 195 Etienne Pallier
    # Every ITERATION_DELAY, process today data files and context files
188 194 Etienne Pallier
    while(True):
189 194 Etienne Pallier
        
190 194 Etienne Pallier
        # if exists new data files for today, re-process ALL today data files according to today context files
191 194 Etienne Pallier
        todayCurrentDataFiles = getTodayCurrentDataFiles()
192 194 Etienne Pallier
        if todayCurrentDataFiles:
193 194 Etienne Pallier
            # Move today current data files from data/ to EQM_DATA/<YYYYMMDD>/ALL/
194 194 Etienne Pallier
            archiveTodayCurrentDataFiles(todayCurrentDataFiles)     
195 194 Etienne Pallier
            # Create/Update <YYYYMMDD>_LOG.csv log file in EQM_DATA/<YYYYMMDD>/, from today current data files in EQM_DATA/<YYYYMMDD>/ALL/ 
196 194 Etienne Pallier
            updateTodayLogFile()               
197 194 Etienne Pallier
            
198 208 Etienne Pallier
        # (re-)Associate all related data files (from TODAY but also from the PAST) with their context files from cgdl/contexts/
199 194 Etienne Pallier
        # and put them into EQM_DATA/YYYYMMDD/BY_CONTEXT/<context name>/
200 208 Etienne Pallier
        bindDataFilesWithContextFilesCreatedOrModifiedOrDeletedToday(getContextFilesCreatedOrModifiedOrDeletedToday())                    
201 194 Etienne Pallier
             
202 194 Etienne Pallier
        # wait 60s
203 194 Etienne Pallier
        time.sleep(ITERATION_DELAY)
204 201 Etienne Pallier
205 201 Etienne Pallier
206 202 Etienne Pallier
207 202 Etienne Pallier
208 206 Etienne Pallier
#########################
209 206 Etienne Pallier
# FONCTIONS IMPORTANTES #
210 206 Etienne Pallier
#########################
211 201 Etienne Pallier
212 201 Etienne Pallier
def copyFilesIntoContextFolderForContextFile(cf):
213 201 Etienne Pallier
    copyContextFileIntoContextFolderForContextFile(cf)
214 201 Etienne Pallier
    copyLogFileIntoContextFolderForContextFile(cf)
215 201 Etienne Pallier
    copyRelatedDataFilesIntoContextFolderForContextFile(cf)
216 201 Etienne Pallier
217 201 Etienne Pallier
218 208 Etienne Pallier
def bindDataFilesWithContextFilesCreatedOrModifiedOrDeletedToday(contextFilesCreatedOrModifiedOrDeletedToday):
219 201 Etienne Pallier
    # Associate today ALL data files from EQM_DATA/YYYYMMDD/ALL/ with their context files from cgdl/contexts/ (and also the EQM_DATA/<YYYYMMDD>/>YYYYMMDD>_LOG.csv log file)
220 201 Etienne Pallier
    # and put them into EQM_DATA/YYYYMMDD/BY_CONTEXT/<context name>/
221 201 Etienne Pallier
    # Process each context file (from oldest to newest)
222 201 Etienne Pallier
    for cf in contextFilesCreatedOrModifiedOrDeletedToday:
223 201 Etienne Pallier
        
224 201 Etienne Pallier
        # DELETED context file
225 201 Etienne Pallier
        if isDeletedContextFile(cf):
226 201 Etienne Pallier
            # This is not actual but only virtual "delete" 
227 201 Etienne Pallier
            deleteContextFolderForContextFile(cf)
228 201 Etienne Pallier
            continue
229 201 Etienne Pallier
        
230 201 Etienne Pallier
        # CREATED OR MODIFIED context file
231 201 Etienne Pallier
        #TODO: This should work even for 2 context files with different names but SAME date and time (both should get filled with the same content) 
232 201 Etienne Pallier
        # if context folder does not yet exist, create it (EQM_DATA/YYYYMMDD/BY_CONTEXT/<context name>/)
233 201 Etienne Pallier
        if not existsContextFolderForContextFile(cf): createContextFolderForContextFile(cf)
234 201 Etienne Pallier
        copyFilesIntoContextFolderForContextFile(cf)
235 201 Etienne Pallier
236 205 Etienne Pallier
</code></pre>
237 194 Etienne Pallier
238 200 Etienne Pallier
h4. 2.3. *Explications du déroulement d'une session d'observations ChemCam (selon le diagramme ci-dessus) (A METTRE A JOUR)* :
239 159 Etienne Pallier
240 185 Etienne Pallier
Cette solution technique a été mise à jour suite à la réunion du 5/6/15 (avec OG, AC, WR, et Richard Hitier).
241 171 Etienne Pallier
242 159 Etienne Pallier
Au démarrage du pc, les 2 logiciels C-SPEC-HK et C_GDL se lancent automatiquement.
243 159 Etienne Pallier
244 190 Etienne Pallier
Voici le workflow idéal :
245 190 Etienne Pallier
246 190 Etienne Pallier
On commence par créer un contexte avec C-GDL (mais on peut très bien le faire a posteriori, après les observations). Une fois enregistré (YYYYMMDD_HHMM-HHMM_context_<parametres>.xml), ce fichier se trouve dans cgdl/contexts/
247 162 Etienne Pallier
248 162 Etienne Pallier
On effectue des tirs ChemCam. Ces tirs génèrent des fichiers (SPEC, SOH...) qui sont automatiquement placés dans le dossier data/.
249 162 Etienne Pallier
Si jamais quelques tirs ont été effectués juste pour tester ChemCam avant de faire les vraies observations, on peut retarder la date début (Start time) du contexte pour que ces tirs ne soient pas pris en compte dans ce contexte.
250 1 Etienne Pallier
251 171 Etienne Pallier
C-SPEC-HK qui tourne en arrière plan effectue le traitement suivant toutes les minutes (ou delta secondes, délai à affiner en production) :
252 162 Etienne Pallier
253 1 Etienne Pallier
1) Il complète (ou crée, si c'est la première itération) le fichier de LOG (YYYYMMDD_LOG.csv) dans le dossier EQM_DATA/YYYYMMDD/
254 162 Etienne Pallier
à partir des fichiers qui sont dans data/
255 172 Etienne Pallier
C'est un fichier texte contenant des données tabulaires (CSV) qui font le lien entre les fichiers spectres et les fichiers HK (SOH et *+_TOUS_+* les autres) associés, en extrayant quelques paramètres essentiels dans les 2 types de fichiers
256 1 Etienne Pallier
257 163 Etienne Pallier
2) Il déplace (move) les fichiers concernés de data/ vers EQM_DATA/YYYYMMDD/ALL/, puisqu'ils ont été traités
258 1 Etienne Pallier
259 165 Etienne Pallier
3) Enfin, il associe les fichiers de données avec les contextes 
260 174 Etienne Pallier
261 185 Etienne Pallier
Pour cela, il suit cet algorithme :
262 165 Etienne Pallier
263 163 Etienne Pallier
* pour chaque fichier de contexte trouvé dans le dossier cgdl/contexts/ qui est à la date du jour :
264 177 Etienne Pallier
  
265 184 Etienne Pallier
 * si un dossier *du même nom* n'existe pas déjà dans EQM_DATA/YYYYMMDD/BY_CONTEXT/, il le crée 
266 184 Etienne Pallier
 * si un dossier *du même nom* existe (qu'il vienne d'être créé ou bien qu'il soit déjà là depuis longtemps), il y copie (copy) tous les fichiers manquants (par rapport à ceux qui devraient y être)
267 184 Etienne Pallier
les fichiers à copier sont :
268 1 Etienne Pallier
269 184 Etienne Pallier
  * le fichier de contexte 
270 184 Etienne Pallier
  * tous les fichiers du dossier EQM_DATA/YYYYMMDD/ALL/ dont la date est comprise entre le "start time" et le "stop time" du contexte
271 184 Etienne Pallier
  * la partie du fichier LOG concernée (on fera une sélection de "start time" à "stop time")
272 184 Etienne Pallier
273 192 Etienne Pallier
* s'il reste des dossiers qui n'ont pas de correspondance avec un contexte (parce qu'un contexte a été renommé ou supprimé), il leur ajoute le préfixe "_DELETED_"
274 1 Etienne Pallier
275 182 Etienne Pallier
_Par ce moyen, on peut créer un contexte qui se termine (bien) plus tard que l'heure actuelle (les nouveaux fichiers seront ainsi ajoutés au fur et à mesure de leur arrivée),
276 184 Etienne Pallier
et on s'assure d'avoir un dossier par contexte, contenant le fichier de contexte (+LOG) et tous les fichiers de données associés.
277 184 Etienne Pallier
Et ces dossiers devraient rester à jour même si le nom du contexte est modifié en cours de journée, voire même supprimé_.
278 179 Etienne Pallier
279 192 Etienne Pallier
NB : il faudra penser à supprimer manuellement de temps en temps les dossiers préfixés par "_DELETED_"
280 166 Etienne Pallier
281 166 Etienne Pallier
Les fichiers de données qui n'ont pas été associés à un contexte (soit par ce qu'aucun contexte n'a été créé dans la journée, soit parce qu'il n'y a pas de contexte créé pour cette période là)
282 166 Etienne Pallier
seront de toutes façons dans le dossier EQM_DATA/YYYYMMDD/ALL/
283 166 Etienne Pallier
284 168 Etienne Pallier
Une fois les sessions d'observations ChemCam terminées, on peut fermer le logiciel C-GDL,
285 168 Etienne Pallier
mais il n'est pas nécessaire de terminer le logiciel C-SPEC-HK car il s'arrêtera automatiquement lors de l'extinction du pc (brutalement, mais, sauf cas exceptionnel, sans dommage)
286 1 Etienne Pallier
287 168 Etienne Pallier
Il sera cependant préférable d'attendre quelques minutes avant d'éteindre le pc après la création, la modification, ou la suppression d'un contexte,
288 168 Etienne Pallier
le temps que C-SPEC-HK traite ce changement dans une nouvelle itération...
289 162 Etienne Pallier
290 161 Etienne Pallier
h3. %{margin-left:30px; font-weight:normal; display:block; background-color:lightgrey; color:black;}ADAPTATIONS NÉCESSAIRES SUR LES 2 LOGICIELS%
291 133 Etienne Pallier
292 149 Etienne Pallier
*Adaptations de C-GDL* : voir [[cgdl:wiki#Collaboration-avec-loutil-C-SPEC-HK|C-GDL]]
293 1 Etienne Pallier
294 133 Etienne Pallier
*Adaptations de C-SPEC-HK* : 
295 1 Etienne Pallier
296 169 Etienne Pallier
(Le fichier de LOG est un tableau de synthèse qui sera utile pour la partie processing, sorte de masterlist)
297 138 Etienne Pallier
298 169 Etienne Pallier
Transférer TOUS les types de fichiers (TXT, RAW…)
299 1 Etienne Pallier
300 138 Etienne Pallier
Fichier SOH le plus près AVANT le transmit (génère le spectre)
301 138 Etienne Pallier
(ce fichier SOH a été fait après le tir, et avant le transmit)
302 138 Etienne Pallier
303 138 Etienne Pallier
Changer label Distance : dist(mm) => dist SEED (mm)
304 138 Etienne Pallier
305 169 Etienne Pallier
Convertir la colonne pm en distance réelle : (quelqu'un donnera la formule) « dist real (mm)»
306 138 Etienne Pallier
307 138 Etienne Pallier
C-Spec-HK est déjà installé sur le pc-EGSE. Il faudra y ajouter C-GDL.
308 138 Etienne Pallier
309 138 Etienne Pallier
Fichier LOG : Produire un CSV + un fichier HTML (ou fichier texte séparé par tabulations) pour qu'il soit lisible sans devoir passer par Open Office
310 138 Etienne Pallier
311 138 Etienne Pallier
DARK BEFORE/AFTER : priorité au DARK AFTER
312 138 Etienne Pallier
Le DARK BEFORE est très rare, il existerait seulement si il y a 2 DARK à la suite (le 2ème serait le DARK BEFORE du SPECTRE LIBS qui arrive ensuite)
313 138 Etienne Pallier
=> pour simplifier, on peut le supprimer (donc supprimer 2 colonnes dans le fichier LOG)
314 138 Etienne Pallier
315 169 Etienne Pallier
Objectif : passer le délai de la boucle du traitement quotidien à 10 secondes (au lieu de 60 actuellement)
316 138 Etienne Pallier
317 1 Etienne Pallier
Les 2 fichiers "LOG général" et "LOG du jour" doivent s’afficher automatiquement au démarrage
318 1 Etienne Pallier
319 1 Etienne Pallier
Le LOG général affiche l'état en cours d'exécution du script, pour savoir où on en est :
320 138 Etienne Pallier
- a) traitement global des fichiers, avec affichage des dossiers jours créés
321 1 Etienne Pallier
Ne pas afficher le contenu de /home/vx/EQM_DATA/
322 138 Etienne Pallier
(log files « created » in …)
323 138 Etienne Pallier
car ces dossiers ont été créés antérieurement
324 138 Etienne Pallier
N’afficher le contenu QUE du dossier qui vient d’être créé
325 138 Etienne Pallier
- b) traitement quotidien des fichiers du jour, avec affichage de : 
326 138 Etienne Pallier
  - numéro d'itération
327 138 Etienne Pallier
  - fichiers SPECTRE et SOH traités (+ leur nombre)
328 138 Etienne Pallier
329 138 Etienne Pallier
Le LOG quotidien affiche le contenu du fichier LOG du jour (qui se remplit au fur et à mesure)
330 138 Etienne Pallier
331 138 Etienne Pallier
Mettre les 4 champs de température laser
332 138 Etienne Pallier
333 138 Etienne Pallier
Supprimer nshots
334 138 Etienne Pallier
335 169 Etienne Pallier
Dans l'idéal, si on veut vraiment faire collaborer les 3 outils C-Spec-HK, C-GDL, et la prise de photos par la webcam du pc portable de la salle blanche (...), 
336 169 Etienne Pallier
la communication avec la webcam nécessiterait de mettre les 2 pc (PC-EGSE et le portable webcam) en réseau (soit sur le réseau global IRAP, soit sur un réseau privé salle blanche avec un hub ou switch ; sachant que pc-EGSE est déjà en réseau privé avec le BU-EGSE, il faudrait donc mettre ces 3 éléments sur un même réseau, pas simple...).
337 169 Etienne Pallier
En attendant, on pourrait se contenter d'un "mode dégradé", qui consisterait à copier manuellement (via clé ou disque usb) les photos de la webcam sur le pc-EGSE
338 138 Etienne Pallier
339 169 Etienne Pallier
(Changement Technique internes : Ne laisser que c-spec-hk-workflow à la racine du projet, le reste doit être dans un sous-dossier (contiendra c-spec-hk + tests))
340 138 Etienne Pallier
341 138 Etienne Pallier
342 138 Etienne Pallier
343 138 Etienne Pallier
344 138 Etienne Pallier
345 138 Etienne Pallier
346 138 Etienne Pallier
347 138 Etienne Pallier
348 138 Etienne Pallier
349 138 Etienne Pallier
350 138 Etienne Pallier
351 138 Etienne Pallier
352 138 Etienne Pallier
353 138 Etienne Pallier
354 138 Etienne Pallier
355 138 Etienne Pallier
356 138 Etienne Pallier
357 138 Etienne Pallier
358 138 Etienne Pallier
359 138 Etienne Pallier
360 138 Etienne Pallier
361 138 Etienne Pallier
362 138 Etienne Pallier
363 138 Etienne Pallier
364 138 Etienne Pallier
365 138 Etienne Pallier
366 138 Etienne Pallier
367 138 Etienne Pallier
---
368 126 Etienne Pallier
369 120 Etienne Pallier
370 120 Etienne Pallier
---
371 128 Etienne Pallier
372 128 Etienne Pallier
h2. %{margin-left:0px; font-weight:normal; font-size:150;  display:block; background-color:yellow; color:red}SPECIFICATIONS%
373 128 Etienne Pallier
374 1 Etienne Pallier
375 11 Etienne Pallier
376 12 Etienne Pallier
h3. Schéma de connexion
377 11 Etienne Pallier
378 11 Etienne Pallier
PcEGSE <==RJ45==> EGSE <==serial==> ChemCam
379 11 Etienne Pallier
380 11 Etienne Pallier
ChemCam (garde tous les spectres en RAM) : serial==> BU (Body Unit) <== MU (Mast Unit)
381 11 Etienne Pallier
- MU : fait les tirs
382 11 Etienne Pallier
- BU : analyse les spectres
383 11 Etienne Pallier
384 11 Etienne Pallier
SOH (Spectra O? HK)
385 11 Etienne Pallier
386 30 Etienne Pallier
h3. Types d’observations
387 30 Etienne Pallier
388 30 Etienne Pallier
(sur la ligne DOLIBS modifier controlWord)
389 11 Etienne Pallier
390 11 Etienne Pallier
Bit # 	Bit Value	Fonction si activé
391 11 Etienne Pallier
-----	---------	------------------
392 11 Etienne Pallier
393 11 Etienne Pallier
0		1	 	Do focus : effectuer une focalisation (voir focusAlgorithm)
394 11 Etienne Pallier
395 11 Etienne Pallier
1		2	 	Pre dark spectra : acquisition d’un spectre dark AVANT les tirs
396 1 Etienne Pallier
397 11 Etienne Pallier
2		4 		Post dark spectra : acquisition d’un spectre dark APRES les tirs
398 11 Etienne Pallier
399 20 Etienne Pallier
*3		8 		Enable laser : effectuer un (des) tir(s) laser (voir Nshots) (sinon, c'est un DARK)*
400 11 Etienne Pallier
401 11 Etienne Pallier
4		16 		Collect spectra : acquisition de spectre pendant les tirs
402 11 Etienne Pallier
403 11 Etienne Pallier
5		32 		BS
404 11 Etienne Pallier
405 11 Etienne Pallier
406 14 Etienne Pallier
=> 25 = 1+8+16 = tir avec laser
407 14 Etienne Pallier
=> 17 = 1+0+16 = tir sans laser (DARK)
408 11 Etienne Pallier
409 11 Etienne Pallier
Bits 0 et 1 pas utilisés !!! :
410 11 Etienne Pallier
Le mode (Bit0 ET Bit1 activés) ne fait pas des darks after et before satisfaisant donc on le fait séparément en faisant un spectre sans enable laser,
411 1 Etienne Pallier
ce qui génère tous ces spectres avec un controlWord =17 dans la liste.
412 11 Etienne Pallier
413 31 Etienne Pallier
h3. Fichier spectre
414 11 Etienne Pallier
415 11 Etienne Pallier
Suite d'intensités pour chaque canal (dans l'ordre 0, 1, 2, 3, ... 6444)
416 11 Etienne Pallier
A représenter sur axe 
417 11 Etienne Pallier
- X : channel number, assimilable à longueur d'onde : 0 à 6444
418 11 Etienne Pallier
- Y : intensité
419 11 Etienne Pallier
420 11 Etienne Pallier
Si fichier DARK, alors intensités (à peu près) constantes (toutes égales) :
421 14 Etienne Pallier
=> donne le bruit de fond de l'instrument, puisque on a zero lumière
422 1 Etienne Pallier
423 32 Etienne Pallier
h3. Stratégie de développement
424 13 Etienne Pallier
425 11 Etienne Pallier
Prendre le last stack only
426 11 Etienne Pallier
427 11 Etienne Pallier
Lire fichier *_spect.TXT et *_SOH.TXT associé (celui qui est juste avant, < 5mn avant)
428 11 Etienne Pallier
429 11 Etienne Pallier
1 fich/jour
430 11 Etienne Pallier
431 11 Etienne Pallier
Methods to write :
432 11 Etienne Pallier
433 11 Etienne Pallier
findSOH(liste des *SOH.TXT du jour, spect.TXT)
434 16 Etienne Pallier
=> convertit les noms SOH en timestamps, trouve le SOH qui est juste avant le spect.TXT (< 5mn avant)
435 11 Etienne Pallier
436 11 Etienne Pallier
findDARK(liste des *spect.TXT (dark), le spect.TXT pour lequel on veut le dark)
437 16 Etienne Pallier
=> retourne le fichier dark qui est juste après (<5mn) (mais, peut être before...)
438 16 Etienne Pallier
=> regarde un peu autour (avant et après)
439 11 Etienne Pallier
440 11 Etienne Pallier
findAutofocus(...)
441 16 Etienne Pallier
=> *_afocus.TXT (juste prendre son nom, pas son contenu), qui est AVANT
442 11 Etienne Pallier
443 15 Etienne Pallier
h3. EXEMPLE DE FICHIER RESULTAT (LOG) A OBTENIR (1 par jour)
444 11 Etienne Pallier
445 11 Etienne Pallier
data_Feb25_2014_5 
446 11 Etienne Pallier
firstfile = Feb25_161115_2014_spect.TXT
447 11 Etienne Pallier
lastfile = Feb25_162059_2014_spect.TXT
448 1 Etienne Pallier
449 11 Etienne Pallier
id, SPECT_file, SOH_file, 
450 1 Etienne Pallier
451 11 Etienne Pallier
// from *_SOH.TXT file :
452 15 Etienne Pallier
nbStacks					// Nb de stacks (indiqué par le nb occurences de "mast SOH" qui indique le début d'un nouveau stack) - Prendre seulement les HK du LAST stack
453 1 Etienne Pallier
temp_laser_min(degC), temp_laser_max(degC),	// prendre min et max des 4 HK_Temp_Laser_1-4
454 15 Etienne Pallier
temp_spect(C), 					// Spectrometer_Temp
455 15 Etienne Pallier
pm(cnts), 					// Motor_Position
456 11 Etienne Pallier
457 11 Etienne Pallier
// from *_spect.TXT file :
458 15 Etienne Pallier
dist(mm),					// distance to target distToTarget
459 15 Etienne Pallier
nshots, 					// (Nshots) ajouter ici "nshots_real" car le laser fait parfois plus de shots que prévu (erreur) (lire 1ère ligne pour savoir le nb de col)
460 15 Etienne Pallier
controlWord, 					// 25 = tir avec laser,  17 = tir sans laser (DARK)
461 15 Etienne Pallier
data_mean,					// moyenne des data \ nbshots reels (= intensité moyenne ?) (à lire from >>>>>Begin Processed Spectral Data<<<<<)
462 15 Etienne Pallier
dark_file, 					// remplacer par dark_file_before, dark_file_after (file name)
463 15 Etienne Pallier
mean_spect_value - dark				// (= data_mean - ???)
464 11 Etienne Pallier
465 11 Etienne Pallier
466 11 Etienne Pallier
// Liste des fichiers *_spect.TXT associés avec leurs paramètres HK (trouvés dans *_SOH.TXT) :
467 11 Etienne Pallier
468 11 Etienne Pallier
id, SPECT_file, SOH_file, nbStacks, temp_laser_min, temp_laser_max, temp_spect, pm, dist(mm), nshots, controlWord, data_mean, dark_file_before, dark_file_after, mean_spect_value - dark
469 11 Etienne Pallier
470 11 Etienne Pallier
  1 Feb25_161115_2014_spect.TXT 161055 nbStacks 4.25 5.44 30.15 5499 3000 10  25   677.39 161142 dark_file_after 50.28 
471 15 Etienne Pallier
  2 (D)Feb25_161142_2014_spect.TXT 161132 4.29 5.48 30.15 5499 3000 10  17   627.11 -        627.11 
472 11 Etienne Pallier
  3 Feb25_161243_2014_spect.TXT 161210 4.29 5.33 30.15 5444 2951 10  25   649.07 161307    19.72 
473 11 Etienne Pallier
  4 Feb25_161307_2014_spect.TXT 161257 4.25 5.55 30.15 5444 3000 10  17   629.35 -        629.35 
474 11 Etienne Pallier
  5 Feb25_161339_2014_spect.TXT 161329 4.25 5.59 30.15 5454 2959 10  25   674.78 161404    43.76 
475 1 Etienne Pallier
  6 Feb25_161404_2014_spect.TXT 161353 4.29 5.52 30.15 5454 3000 10  17   631.02 -        631.02 
476 1 Etienne Pallier
  7 Feb25_161435_2014_spect.TXT 161425 4.21 5.55 30.15 5463 2967 10  25   693.77 161500    60.76 
477 11 Etienne Pallier
  8 Feb25_161500_2014_spect.TXT 161450 4.33 5.59 30.15 5463 3000 10  17   633.01 -        633.01 
478 11 Etienne Pallier
  9 Feb25_161532_2014_spect.TXT 161521 4.29 5.59 30.15 5473 2975 10  25   703.08 161556    68.71 
479 11 Etienne Pallier
 10 Feb25_161556_2014_spect.TXT 161546 4.36 5.52 30.15 5473 3000 10  17   634.36 -        634.36 
480 11 Etienne Pallier
 11 Feb25_161646_2014_spect.TXT 161636 4.33 5.63 30.15 5482 2983 10  25   702.22 161711    67.98 
481 11 Etienne Pallier
 12 Feb25_161711_2014_spect.TXT 161701 4.33 5.59 30.15 5482 3000 10  17   634.24 -        634.24 
482 11 Etienne Pallier
 13 Feb25_161743_2014_spect.TXT 161733 4.36 5.55 30.15 5493 2992 10  25   695.08 161808    58.88 
483 11 Etienne Pallier
 14 Feb25_161808_2014_spect.TXT 161757 4.36 5.55 30.15 5493 3000 10  17   636.20 -        636.20 
484 11 Etienne Pallier
 15 Feb25_161840_2014_spect.TXT 161829 4.40 5.59 30.15 5502 3000 10  25   683.94 161905    46.74 
485 11 Etienne Pallier
 16 Feb25_161905_2014_spect.TXT 161854 4.40 5.59 30.15 5502 3000 10  17   637.20 -        637.20 
486 11 Etienne Pallier
 17 Feb25_161937_2014_spect.TXT 161926 4.40 5.59 30.15 5513 3009 10  25   675.67 162002    37.24 
487 11 Etienne Pallier
 18 Feb25_162002_2014_spect.TXT 161951 4.44 5.59 30.15 5513 3000 10  17   638.43 -        638.43 
488 11 Etienne Pallier
 19 Feb25_162034_2014_spect.TXT 162023 4.36 5.63 30.15 5522 3017 10  25   663.56 162059    24.10 
489 15 Etienne Pallier
 20 (D) Feb25_162059_2014_spect.TXT 162048 4.40 5.63 30.15 5522 3000 10  17   639.46 -        639.46
490 15 Etienne Pallier
491 46 Etienne Pallier
h3. CAS EXCEPTIONNELS à traiter (Exceptions)
492 43 Etienne Pallier
493 43 Etienne Pallier
 * NoDataFileFoundException : pas de fichier (ni Spectre ni SOH) dans le dossier DATA/
494 43 Etienne Pallier
495 43 Etienne Pallier
 * MalformedFileException : fichier (Spectre ou SOH) avec format incorrect
496 43 Etienne Pallier
497 43 Etienne Pallier
 * UnknownCaseException : Cas inconnu ; par exemple, controlWord ni 17 (DARK) ni 25 (PAS DARK) !!!
498 43 Etienne Pallier
499 47 Etienne Pallier
 * noSOHFileFoundForSpectraFileException : pas de fichier SOH (HK) trouvé pour un fichier Spectra (data)
500 47 Etienne Pallier
501 136 Etienne Pallier
---
502 136 Etienne Pallier
503 83 Etienne Pallier
h2. RECUPERATION DU PROJET
504 91 Etienne Pallier
505 83 Etienne Pallier
506 83 Etienne Pallier
*a) Directement, depuis svn*
507 83 Etienne Pallier
508 83 Etienne Pallier
svn co https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
509 83 Etienne Pallier
510 83 Etienne Pallier
Si on ne veut pas rester synchronisé avec le repository (juste une copie du projet au temps t, sans les fichiers de versionning .svn) : 
511 1 Etienne Pallier
512 90 Etienne Pallier
svn export https://usvn-chemcam.irap.omp.eu/repo/c-spec-hk/trunk c-spec-hk-svn
513 90 Etienne Pallier
514 91 Etienne Pallier
515 58 Etienne Pallier
516 1 Etienne Pallier
*b) Par téléchargement (100 Mo à cause des données)*
517 1 Etienne Pallier
518 230 Etienne Pallier
(OLD VERSION) https://projects.irap.omp.eu/attachments/download/1237/c-spec-hk_1.1.tgz
519 86 Etienne Pallier
520 137 Etienne Pallier
---
521 137 Etienne Pallier
522 228 Etienne Pallier
h2. EXECUTION (out of date)
523 92 Etienne Pallier
524 92 Etienne Pallier
h3. 1) PRÉREQUIS : Python 2.7
525 92 Etienne Pallier
526 92 Etienne Pallier
h4. Sur Mac (Machine de développement)
527 92 Etienne Pallier
528 92 Etienne Pallier
Avec Macport, pour que la version 2.7 soit bien la version par défaut quand on tape "python" :
529 92 Etienne Pallier
530 92 Etienne Pallier
sudo port select --set python python27
531 92 Etienne Pallier
532 92 Etienne Pallier
$ which python
533 92 Etienne Pallier
/opt/local/bin/python
534 92 Etienne Pallier
535 92 Etienne Pallier
$ python --version
536 92 Etienne Pallier
Python 2.7.9
537 92 Etienne Pallier
538 92 Etienne Pallier
Mettre à jour MacPort :
539 92 Etienne Pallier
sudo port -v selfupdate
540 92 Etienne Pallier
sudo port upgrade outdated
541 92 Etienne Pallier
542 92 Etienne Pallier
543 92 Etienne Pallier
h4. Sur CentOS 6.5 (serveur de production)
544 92 Etienne Pallier
545 92 Etienne Pallier
(fait le 19/3/15 sur le pc-EGSE Chemcam ; cf fiche wiki du pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour)
546 92 Etienne Pallier
547 92 Etienne Pallier
Par défaut, Cent0S 6.5 propose Python 2.6
548 92 Etienne Pallier
549 94 Etienne Pallier
(Voir l'installation de Python 2.7 faite sur le pc-EGSE Chemcam : http://planetowiki.irap.omp.eu/do/view/Computers/PcChemcam2Tour#Installation_de_Python_2_7)
550 86 Etienne Pallier
551 89 Etienne Pallier
h3. 2) EXECUTING TESTS
552 89 Etienne Pallier
553 86 Etienne Pallier
h4. Depuis Eclipse
554 86 Etienne Pallier
555 86 Etienne Pallier
Ouvrir la console adaptée : Window / Show View / PyUnit
556 86 Etienne Pallier
clic-droit sur test/c_spec_hk_TEST.py
557 86 Etienne Pallier
Run As / Python unit-test
558 89 Etienne Pallier
559 86 Etienne Pallier
560 89 Etienne Pallier
h4. En mode ligne de commande
561 86 Etienne Pallier
562 72 Etienne Pallier
h5. TESTS faits avec Python 2.7
563 72 Etienne Pallier
564 1 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
565 72 Etienne Pallier
566 73 Etienne Pallier
cd test/
567 1 Etienne Pallier
568 72 Etienne Pallier
$ py27 premiertest.py
569 1 Etienne Pallier
<pre>
570 72 Etienne Pallier
...
571 72 Etienne Pallier
----------------------------------------------------------------------
572 1 Etienne Pallier
Ran 3 tests in 0.000s
573 72 Etienne Pallier
574 72 Etienne Pallier
OK
575 73 Etienne Pallier
</pre>
576 72 Etienne Pallier
577 72 Etienne Pallier
$ py27 c_spec_hk_TEST.py
578 72 Etienne Pallier
579 72 Etienne Pallier
<pre>
580 72 Etienne Pallier
...
581 1 Etienne Pallier
======================================================================
582 62 Etienne Pallier
----------------------------------------------------------------------
583 1 Etienne Pallier
Ran 14 tests in 5.833s
584 1 Etienne Pallier
585 72 Etienne Pallier
OK
586 72 Etienne Pallier
</pre>
587 1 Etienne Pallier
588 62 Etienne Pallier
589 72 Etienne Pallier
590 72 Etienne Pallier
591 70 Etienne Pallier
*2) Tests de Performance (Benchmark)*
592 70 Etienne Pallier
593 62 Etienne Pallier
Depuis la racine du projet :
594 62 Etienne Pallier
595 62 Etienne Pallier
<pre>
596 62 Etienne Pallier
$ py27 c_spec_hk.py -t
597 62 Etienne Pallier
...Executing main program...
598 62 Etienne Pallier
Testing execution time of several methods
599 62 Etienne Pallier
600 62 Etienne Pallier
All times are in SECONDS
601 62 Etienne Pallier
602 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
603 62 Etienne Pallier
0.000790863037109
604 62 Etienne Pallier
605 62 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
606 62 Etienne Pallier
0.000117941689491
607 62 Etienne Pallier
608 62 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
609 62 Etienne Pallier
0.0429699897766
610 62 Etienne Pallier
611 62 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
612 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
613 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
614 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
615 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
616 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
617 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
618 62 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
619 62 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
620 62 Etienne Pallier
total 56
621 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20110223
622 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2011_0223_logs.csv
623 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20130223
624 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2013_0223_logs.csv
625 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140123
626 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0123_logs.csv
627 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140223
628 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2014_0223_logs.csv
629 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140225
630 62 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  16:39 2014_0225_logs.csv
631 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20140226
632 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  16:39 2014_0226_logs.csv
633 62 Etienne Pallier
drwxrwxr-x 2 vx vx 4096 19 mars  16:39 20150223
634 62 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  16:39 2015_0223_logs.csv
635 62 Etienne Pallier
636 62 Etienne Pallier
1.91459012032
637 1 Etienne Pallier
Average time per day : 0.273513
638 1 Etienne Pallier
639 1 Etienne Pallier
*** finished TIMING ***
640 62 Etienne Pallier
641 1 Etienne Pallier
</pre>
642 86 Etienne Pallier
643 89 Etienne Pallier
644 86 Etienne Pallier
645 72 Etienne Pallier
h5. TESTS faits avec Python 2.6
646 1 Etienne Pallier
647 72 Etienne Pallier
C'est encore possible de faire tourner le logiciel en Python 2.6 dans la version 1.1.x, mais ça ne sera plus garanti dans l'avenir (à partir de la version 1.2.x)
648 1 Etienne Pallier
649 72 Etienne Pallier
*1) Tests Unitaires et Fonctionnels*
650 1 Etienne Pallier
651 72 Etienne Pallier
cd test/
652 72 Etienne Pallier
653 72 Etienne Pallier
$ python premiertest.py
654 72 Etienne Pallier
<pre>
655 72 Etienne Pallier
...
656 72 Etienne Pallier
----------------------------------------------------------------------
657 72 Etienne Pallier
Ran 3 tests in 0.000s
658 72 Etienne Pallier
659 72 Etienne Pallier
OK
660 72 Etienne Pallier
</pre>
661 72 Etienne Pallier
662 72 Etienne Pallier
$ python c_spec_hk_TEST.py
663 72 Etienne Pallier
664 72 Etienne Pallier
<pre>
665 72 Etienne Pallier
...
666 72 Etienne Pallier
======================================================================
667 72 Etienne Pallier
----------------------------------------------------------------------
668 72 Etienne Pallier
Ran 14 tests in 6.742s
669 72 Etienne Pallier
670 72 Etienne Pallier
OK
671 72 Etienne Pallier
</pre>
672 72 Etienne Pallier
673 72 Etienne Pallier
---
674 72 Etienne Pallier
675 72 Etienne Pallier
676 72 Etienne Pallier
*2) Tests de Performance (Benchmark)*
677 72 Etienne Pallier
678 58 Etienne Pallier
Depuis la racine du projet 
679 58 Etienne Pallier
680 58 Etienne Pallier
$ ./c_spec_hk.py -t
681 58 Etienne Pallier
<pre>
682 58 Etienne Pallier
...Executing main program...
683 58 Etienne Pallier
Testing execution time of several methods
684 58 Etienne Pallier
685 58 Etienne Pallier
All times are in SECONDS
686 58 Etienne Pallier
687 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called from a function time_extractSpectraFileNamesIndexedAndOrdered() (takes about 0.0008" on a MacBookPro 11.1) :
688 58 Etienne Pallier
0.00105306601524
689 58 Etienne Pallier
690 58 Etienne Pallier
Testing _extractSpectraFileNamesIndexedAndOrdered(dataFileNames) method called directly (takes about 0.00012" on a MacBookPro 11.1) :
691 58 Etienne Pallier
0.000152537894249
692 58 Etienne Pallier
693 58 Etienne Pallier
Testing getLogInfosForDay(day,spectraFilesForTheDay) method called directly (takes about 0.06" on a MacBookPro 11.1) :
694 58 Etienne Pallier
0.0518409013748
695 58 Etienne Pallier
696 58 Etienne Pallier
Testing main method createAllLogFiles(True) called directly (takes about 2.8" on a MacBookPro 11.1) :
697 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20110223
698 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20130223
699 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140123
700 1 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140223
701 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140225
702 59 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20140226
703 58 Etienne Pallier
test/DATASET/UC0_NOMINAL/LOGS/20150223
704 58 Etienne Pallier
Log files created in test/DATASET/UC0_NOMINAL/LOGS/ :
705 58 Etienne Pallier
total 56
706 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20110223
707 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2011_0223_logs.csv
708 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20130223
709 58 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2013_0223_logs.csv
710 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140123
711 1 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0123_logs.csv
712 58 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140223
713 80 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2014_0223_logs.csv
714 21 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140225
715 25 Etienne Pallier
-rw-rw-r-- 1 vx vx 2849 19 mars  14:01 2014_0225_logs.csv
716 1 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20140226
717 22 Etienne Pallier
-rw-rw-r-- 1 vx vx  474 19 mars  14:01 2014_0226_logs.csv
718 22 Etienne Pallier
drwxrwxr-x 3 vx vx 4096 19 mars  14:01 20150223
719 21 Etienne Pallier
-rw-rw-r-- 1 vx vx  471 19 mars  14:01 2015_0223_logs.csv
720 21 Etienne Pallier
721 77 Etienne Pallier
2.33647012711
722 21 Etienne Pallier
Average time per day : 0.333781
723 21 Etienne Pallier
724 1 Etienne Pallier
*** finished TIMING ***
725 96 Etienne Pallier
</pre>
726 21 Etienne Pallier
727 97 Etienne Pallier
h3. 3) EXECUTING MAIN SCRIPT 
728 1 Etienne Pallier
729 88 Etienne Pallier
h4. Depuis Eclipse
730 88 Etienne Pallier
731 21 Etienne Pallier
clic-droit sur c_spec_hk.py
732 97 Etienne Pallier
Run As / Python Run
733 21 Etienne Pallier
734 21 Etienne Pallier
h4. In Command line mode
735 1 Etienne Pallier
736 80 Etienne Pallier
	a) Pour voir l'aide :
737 81 Etienne Pallier
738 80 Etienne Pallier
$ python c_spec_hk.py -h
739 1 Etienne Pallier
740 80 Etienne Pallier
...Executing main program...
741 1 Etienne Pallier
742 81 Etienne Pallier
Usage:
743 1 Etienne Pallier
744 81 Etienne Pallier
python27 c_spec_hk.py [-i <inputDataDir>] [-o <outputLogDir>]
745 1 Etienne Pallier
OR
746 81 Etienne Pallier
python27 c_spec_hk.py [--inputDir=<inputDataDir>] [--outputDir=<outputLogDir>]
747 1 Etienne Pallier
748 80 Etienne Pallier
Ex: python27 c_spec_hk.py-i './DATA' -o './LOGS'
749 80 Etienne Pallier
750 80 Etienne Pallier
All options available are (none is mandatory) :
751 80 Etienne Pallier
-d : activate DEBUG mode
752 80 Etienne Pallier
-h : print this HELP message
753 80 Etienne Pallier
-n : do NOT create sub-directories (like YYYYMMDD) for each day
754 80 Etienne Pallier
-t : test execution TIME of several methods
755 1 Etienne Pallier
-v : print current VERSION number
756 21 Etienne Pallier
-i <inputDataDir> or --input=<inputDataDir> : set INPUT directory from where DATA files are READ (default is "DATA")
757 1 Etienne Pallier
-o <outputDataDir> or --output=<outputLogDir> : set OUTPUT directory where LOG files are WRITTEN to (default is "LOGS")
758 81 Etienne Pallier
759 80 Etienne Pallier
760 23 Etienne Pallier
761 81 Etienne Pallier
	b) Speed testing (benchmark)
762 21 Etienne Pallier
763 21 Etienne Pallier
cf https://projects.irap.omp.eu/projects/cspechkanalyser/wiki/Wiki#TESTS-faits-avec-Python-27 (section "Tests de performance")
764 21 Etienne Pallier
765 21 Etienne Pallier
766 82 Etienne Pallier
	c) Pour faire un test avec les données d'échantillon fournies :
767 1 Etienne Pallier
768 82 Etienne Pallier
python27 c_spec_hk.py -i test/DATASET/UC0_NOMINAL/DATA -o /tmp/LOGS
769 82 Etienne Pallier
770 21 Etienne Pallier
(il faudra d'abord créer le dossier LOGS/ dans /tmp)
771 21 Etienne Pallier
772 82 Etienne Pallier
Exemple d'affichage attendu :
773 21 Etienne Pallier
774 82 Etienne Pallier
...Executing main program...
775 82 Etienne Pallier
776 21 Etienne Pallier
inputDataDir is "test/DATASET/UC0_NOMINAL/DATA"
777 82 Etienne Pallier
ouputLogDir is "/tmp/LOGS"
778 82 Etienne Pallier
779 21 Etienne Pallier
The DATA DIR (input) contains 126 files (total)
780 82 Etienne Pallier
The DATA DIR (input) contains 26 SPECTRA text files
781 82 Etienne Pallier
782 21 Etienne Pallier
Log files created in /tmp/LOGS/ :
783 21 Etienne Pallier
['20110223', '20130223', '20140123', '20140223', '20140225', '20140226', '20150223']
784 36 Etienne Pallier
785 54 Etienne Pallier
786 36 Etienne Pallier
---
787 52 Etienne Pallier
788 229 Etienne Pallier
h2. DAILY WORKFLOW (out of date)
789 52 Etienne Pallier
790 1 Etienne Pallier
h3. 1) Voici la structure de fichiers réalisée sur le pc-EGSE :
791 52 Etienne Pallier
792 52 Etienne Pallier
Les nouveaux fichiers de données produits lors des tirs de Chemcam sont automatiquement placés dans /home/vx/data/ (au fur et à mesure des tirs)
793 1 Etienne Pallier
794 1 Etienne Pallier
Ils sont ensuite déplacés dans /home/vx/EQM_DATA/AAAAMMJJ/DATA/ lorsqu'ils ont été traités
795 52 Etienne Pallier
796 37 Etienne Pallier
Les fichiers de LOG (relation spectre => HK) créés sont placés directment dans /home/vx/EQM_DATA/AAAAMMJJ/
797 53 Etienne Pallier
798 50 Etienne Pallier
<pre>
799 50 Etienne Pallier
800 50 Etienne Pallier
- /home/vx/data/ : données d'origine restant à traiter (spectres et HK), provenant directement de la manip
801 50 Etienne Pallier
802 36 Etienne Pallier
- /home/vx/EQM_DATA/ : données traitées (spectres, HK, et fichiers logs produits)
803 36 Etienne Pallier
    - AAAAMMJJ/ : un dossier par jour
804 142 Etienne Pallier
        - le fichier log produit (CSV)
805 40 Etienne Pallier
        - DATA/ : les données d'origine (spectres et HK)
806 48 Etienne Pallier
807 1 Etienne Pallier
</pre>
808 51 Etienne Pallier
809 48 Etienne Pallier
h3. 2) WORKFLOW
810 57 Etienne Pallier
811 55 Etienne Pallier
Ce workflow devrait normalement fonctionner dans tous les cas de figure (démarrage n'importe quand, en début de journée ou en cours de journée, ou même reprise après un crash brutal...)
812 1 Etienne Pallier
813 39 Etienne Pallier
Démarrage automatique du workflow à partir du Démarrage du pc-EGSE
814 57 Etienne Pallier
815 1 Etienne Pallier
1) Faire tourner le traitement sur TOUS les fichiers présents dans le dossier /home/vx/data/ (SAUF les fichiers du jour J, s'il y en a...)
816 57 Etienne Pallier
Les fichiers LOGS produits sont placés automatiquement dans le dossier correspondant à leur jour /home/vx/EQM_DATA/AAAAMMJJ/
817 57 Etienne Pallier
(AAAA année en 4 chiffres, MM mois en deux chiffres et JJ jour du mois en deux chiffres)
818 57 Etienne Pallier
819 57 Etienne Pallier
2) Déplacer TOUS les fichiers de /home/vx/data/ dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ (SAUF les fichiers du jour J, s'il y en a...)
820 57 Etienne Pallier
821 48 Etienne Pallier
3) (Every 5 seconds) : pour les fichiers du jour J
822 1 Etienne Pallier
S'il existe au moins un fichier dans /home/vx/data/, faire tourner le traitement sur TOUS les fichiers présents 
823 51 Etienne Pallier
LE FICHIER LOG produit (un seul pour le jour J) est placé automatiquement dans le dossier correspondant à son jour (J) /home/vx/EQM_DATA/AAAAMMJJ/
824 1 Etienne Pallier
Attention : on ne déplace pas les fichiers dans leur dossier correspondant /home/vx/EQM_DATA/AAAAMMJJ/DATA/ ; cela sera fait au prochain démarrage du workflow) ; cela permet d'avoir un fichier LOG qui se complète au fur et à mesure de la journée
825 1 Etienne Pallier
Il faudrait quand meme les COPIER (cp) (mais pas les DEPLACER (mv))
826 1 Etienne Pallier
OPTIMISATION : Exécution SSI le nb de fichiers du repertoire DATA/ a changé (tenir à jour un fichier contenant le nb de files)
827 1 Etienne Pallier
828 1 Etienne Pallier
Fin du workflow à l'extinction du pc-EGSE