Project Development¶

Project Installation page : Project Installation

HOWTO Format Redmine Wiki : http://www.redmine.org/projects/redmine/wiki/FrRedmineWikiFormatting

• Project Development
  • TODO
  • LIENS UTILES
  • I - DATABASE SCHEMA (v0.2.1)
  • II - Get the project (from gitlab)
    • Gitlab management interface
    • Get the project
  • III - INSTALLATION
  • IV - CONFIGURATION of the Django Back Office (administration interface)
  • V - EVOLUTION OF THE PROJECT
    • Linking the User model to the django's one
    • Manage static files (for admin but also for each application)
  • DJANGO SHELL (top cool)
  • HOWTO (divers)
    • Models
    • Pour relier une appli python pure à un projet django :
    • Séparer le code métier :
    • ORM
    • Serveur Web
    • MTV design pattern
  • INSTALLATION FROM THE BEGINNING (for dev only, history of the initial project creation)

---

TODO¶

• Models: bien définir les valeurs par défaut
  • ex: request.is_alert = False par défaut

• Preload some data for some tables:
  • country => France, Mexico, ...
  • sequencetype => 0=routine, 1=alert, ...
  • userlevel => 0=normal, 1=expert, 2=admin, ...
  • ...

• readonly admin interface : https://gist.github.com/aaugustin/1388243

• Ecrire quelques premiers petits tests

• Tester install eclipse from scratch (vérifier qu'on n'a plus besoin de faire "set as pydev" et "set as django" et set DJANGO_MANAGE_LOCATION et set DJANGO_SETTINGS_MODULE)

• Séparation des BD Django et Pyros

• Intégration des modules Django déjà développés

• Intégration continue avec Jenkins (+ run des tests sur une VM Windows)

• Planifier la suite...

• Doc pour le meeting de mai

• passer la TODO list sur redmine (=> roadmap)

• passer sur sourcesup :
  • Git sur sourcesup (avec jenkins) : https://services.renater.fr/sourcesup/formation/chap04#gestion_d_un_projet_avec_git_jenkins_sonar_et_nexus

• pyrossu : pyrossu!

---

LIENS UTILES¶

• Liens vers web local :
  • homepage: http://localhost:8000
  • admin: http://localhost:8000/admin

• Eclipse:
  • Shift-Ctrl-f (ou Shift-Cmd-f) : reformatage du fichier selon PEP8
  • Shift-Ctrl-1 : make doc string ...

• Django:
  • Coding style: https://docs.djangoproject.com/en/dev/internals/contributing/writing-code/coding-style
  • Doc : https://docs.djangoproject.com/en/1.9
  • (FR) http://docs.djangoproject.com/fr
  • http://stackoverflow.com/questions/tagged/django
  • www.django-fr.org/planete
  • https://www.djangopackages.com/
  • http://forum.django-fr.org
  • La mailing list : django@lists.afpy.org

• Git docs:
  • Permissions gitlab: https://gitlab.com/gitlab-org/gitlab-ce/blob/master/doc/permissions/permissions.md
  • https://git-scm.com/docs
  • https://git-scm.com/book/fr/v1/Les-bases-de-Git-Travailler-avec-des-d%C3%A9p%C3%B4ts-distants
  • les workflows: https://aresu.dsi.cnrs.fr/spip.php?article219
  • Git for Eclipse users : http://wiki.eclipse.org/EGit/Git_For_Eclipse_Users
  • Git sur sourcesup (avec jenkins) : https://services.renater.fr/sourcesup/formation/chap04#gestion_d_un_projet_avec_git_jenkins_sonar_et_nexus

• CADOR web interface: http://cador.obs-hp.fr/ros/manual/cador_actions.html

• pylint (analyse de code) : https://www.pylint.org

• pyreverse (uml diagrams generation, inclus dans pylint) : https://www.logilab.org/blogentry/6883

• tox (a generic virtualenv management and test command line tool) : https://testrun.org/tox/latest/index.html

---

---

I - DATABASE SCHEMA (v0.2.1)¶

---

II - Get the project (from gitlab)¶

Gitlab management interface¶

https://gitlab.irap.omp.eu/epallier/pyros

https://gitlab.irap.omp.eu/epallier/pyros/team

Get the project¶

https://projects.irap.omp.eu/projects/pyros/wiki/Project_Installation#II-Get-the-project-from-gitlab

---

III - INSTALLATION¶

https://projects.irap.omp.eu/projects/pyros/wiki/Project_Installation#III-INSTALLATION

---

IV - CONFIGURATION of the Django Back Office (administration interface)¶

Configuration of the Django Back office (admin)

---

V - EVOLUTION OF THE PROJECT¶

Linking the User model to the django's one¶

• Modifications in models.py :
  • Rename User model to PyrosUser
  • Rename user table name to pyros_user
  • Change all occurences (User -> PyrosUser, users -> pyros_users, ...)
  • from django.contrib.auth.models import User <== add at the beginning of the file
  • user = models.OneToOneField(User, on_delete=models.CASCADE) <== add this field in PyrosUser declaration
  • delete fields in PyrosUser : name, firstname, email, login, pass

• Modifications in admin.py :
  • Change all occurences (User* -> PyrosUser*, users -> pyros_users, ...)

$ python manage.py makemigrations pyrosapp
$ python manage.py migrate

---

Manage static files (for admin but also for each application)¶

./manage.py runserver

if DEBUG=False, we have errors, missing static files :

Not Found: /static/admin/css/base.css
Not Found: /static/admin/css/login.css
Not Found: /admin/login
Not Found: /static/admin/css/base.css
Not Found: /static/admin/css/login.css
Not Found: /static/admin/css/base.css
Not Found: /static/admin/css/login.css
Not Found: /static/admin/css/base.css
Not Found: /static/admin/css/dashboard.css
Not Found: /static/admin/css/base.css
Not Found: /static/admin/css/base.css
…

=> We have to activate the static files management

(see https://docs.djangoproject.com/en/1.9/howto/static-files)

In pyros/urls.py, add this:

from django.conf import settings
from django.conf.urls.static import static

urlpatterns = [
    url(r'^admin/', admin.site.urls),
] + static(settings.STATIC_URL, document_root=settings.STATIC_ROOT)

STATIC_ROOT must be defined in settings and says where is the root of all static files

Edit settings.py, add:

STATIC_ROOT = os.path.join(os.path.dirname(BASE_DIR), 'public', 'static')

./manage.py collectstatic

=> 56 static files copied to '.../PYROS/public/static'

(in fact it is in public/static/admin/)

Cette commande copie tous les fichiers statiques de toutes les applis
dans public/static

Apache viendra lire ce dossier unique

A chq changement d’un fichier statique d’une appli, exécuter « collectstatic » pour mettre à jour le dossier final public/static (auquel on ne doit pas toucher manuellement, c’est un dossier « final »)

---

DJANGO SHELL (top cool)¶

cf page 60 for the ORM methods

./manage.py shell
Python 3.5.1 (default, Mar  2 2016, 03:38:02) 
(InteractiveConsole)

>>> import django

>>> from pyrosapp.models import *

>>> country = Country(name='mexico', quota=1)
>>> country.save()
(ajout si pas d’id, modif si id)

>>> country = Country(name='france')
>>> country.save()
>>> country.pk
>>> 2

>>> countries = Country.objects.all()
>>> countries.count
>>> <bound method QuerySet.count of <Country: mexico>, <Country: france>>
>>> countries.count()
>>> 2
>>> print(countries)
>>> <Country: mexico>, <Country: france>
>>> print(countries.query)
>>> SELECT country.id, country.name, country.desc, country.quota FROM country

>>> cs = countries.filter(name__icontains='fran')
>>> print(cs)
>>> <Country: france>

>>> cs = countries.filter(name__startswith='me')
>>> print(cs)
>>> <Country: mexico>

---

HOWTO (divers)¶

Models¶

1) Relationships between models (1-1, 1-N, N-M) (p55)

models.ManyToManyField : représente une relation de type N-N
(peu importe de quel côté on le déclare)

models.OneToOneField : attention, le sens est important, on n’accèdera d’une table à l’autre que dans un sens

task <=> user
task.user
user.task_set

2) Quelques options pour les champs

Chaque type de champ possède ses propres propriétés. Cependant, certaines sont communes et souvent utilisées comme :

verbose_name: label du champ
    null : valeur NULL autorisée ou non en base de données
    blank : valeur vide autorisée lors de la validation du champ dans un formulaire
    default : valeur par défaut pour une nouvelle instance
    editable : le champ doit-il apparaître automatiquement dans les formulaires
    ...

Pour relier une appli python pure à un projet django :¶

=> Ajouter le src/ dans le pythonpath

Séparer le code métier :¶

=> installer le code métier comme un module via pip
Couches :

• présentation
• métier
• modèle

ORM¶

(cf page 60)

b = Book(…)
b.save()
=> ajout si pas d’id, modif si id

Book.objects.all()

books = Book.objects.filter(
        release__gte=date(2013, 01, 01)
      ).exclude(
        borrowed=True
      )

A! La requete est exécutée le plus tard possible, seulement quand django a vraiment besoin de l’exécuter

books = Book.objects.exclude(borrowed=True).order_by('title')
print (books.author)

Book.objects.get(pk=12)

author = Author.objects.get(pk=25)
author.books.filter(borrowed=False)

(books est le related name déclaré dans la relation manytomany)

---

Serveur Web¶

Apache : gère tous les fichiers statiques (images, html…), et délègue les fichiers python au serveur django

Moteur web django sera soit du wsgi soit du unicorn
Par défaut, 1 seul worker, mais on peut en configurer plusieurs,
l’idéal étant de faire nb coeurs + 1 (le worker maître qui fait le dispatching aux autres)

Frontend : Apache ou Ngininx
Backend : gunicorn (gère facilement des workers) ou uwsgi

> gunicorn library.wsgi
(à la place de manage runserver > A EVITER EN PROD)

pip install gunicorn

gunicorn library.wsgi
ou
gunicorn - - workers 5 library.wsgi

(gunicorn tomcat, serveur d’appli Python)

1) URL arrive à Apache, qui dispatche (il gère seul les fichiers statiques, et les fichiers python il les transmet à Django)
2) le fichier library/urls.py prend le relai pour tout ce qui est django

On peut ajouter un fichier urls.py pour gérer les urls de l’appli
(on garde le urls.py général du projet pour gérer les grandes urls):

Déclaration d'une URL

# books/urls.py
from django.conf.urls import patterns, include, url
urlpatterns = [
    url(r'^book_list$', 'books.views.book_list', name='book_list'),
]

Inclusion des URLs de l'application au projet

# library/urls.py
...
urlpatterns = [
    ...
    url(r'^books/', include('books.urls', namespace='books')),
]

MTV design pattern¶

MTV MVC :

Model = Model
Template = View
View = Controller

CREATION DE LA VUE (en fait, le controleur) : slide 23
views.py = CONTROLEUR

Template = LA VUE (slide 24)
(on peut user Jinja à la place du moteur django par défaut)

Dans chq appli, on crée un dossier templates/ et un sous-dossier du nom de l’appli/
(==> todo/templates/todo/)

Même principe pour les fichiers statiques :
src/static/appli1, appli2, appli3…

NOMENCLATURE template :
nommodèle_action.html
(ex: book_list.html)

On pourrait tout mettre dans le urls.py du projet, MAIS c’est mieux
de créer un fichier urls.py PAR APPLI, puis de les inclure dans le fichier urls.py principal

Class-based views ==> classes controleurs
Les méthodes get() et post() sont déjà définies, et on peut les surcharger…

Avec un template (gabarit), on peut générer autre chose que du html,
on peut par ex générer du texte, du pdf, un email, un xml…

Vue liste (et détail) :
https://docs.djangoproject.com/fr/1.8/topics/class-based-views/generic-display/
1) todo/views.py
from django.views.generic import ListView
from books.models import Publisher

class PublisherList(ListView):
model = Publisher

2) todolist/urls.py
from django.conf.urls import url
from books.views import PublisherList

urlpatterns = [
url(r'^publishers/$', PublisherList.as_view()),
]

3) todo/templates/todo/

- Vue Liste : par défaut le template reçoit un objet « objects_list »
- Vue détail : object (on peut faire object.pk, …)

---

INSTALLATION FROM THE BEGINNING (for dev only, history of the initial project creation)¶

Pyros installation from the beginning