How do you do, fellow kids?

1. Un Hackathon compliqué

2. Le projet

• Python 3.6 installé
• PostgreSQL installé
• Un compte Gitlab avec un repo vide
• Un compte Heroku

3. Déploiement en local

• Flask (of course) microframework web en python
• Flask-script pour le lancement des tests, la migration de bdd et le lancement de l'app
• Gunicorn pour le serveur en production
• Unittest pour les tests unitaires
• Autoenv pour le lancement automatique de l'environnement virtuel et la gestion des variables d'environnement
• SQLalchemy et psycopg2 pour la connexion à la DB

$ psql
# create database songlist;
CREATE DATABASE
# create database songlist_test;
CREATE DATABASE
# quit

$ python3 -m venv env
$ source env/bin/activate

$ pip install --upgrade pip
$ pip install -r requirements.txt

source env/bin/activate
export APP_SETTINGS="core.server.config.DevelopmentConfig"
export SECRET_KEY="UnePhraseSecreteBadass"
export DATABASE_URI="postgresql://postgres:@localhost/songlist"
export DATABASE_URI_TEST="postgresql://postgres:@localhost/songlist_test"

$ echo "source `which activate.sh`" >> ~/.bashrc
$ source ~/.bashrc

• Le module core comprend les modules core.server (votre app) et core.tests (les... tests unitaires).
• Plusieurs configurations sont prévues : développement, test et production décrites dans le module core.server.config. La config sera utilisée via la variable d'environnement APP_SETTINGS.
• SECRET_KEY est la clef de sécurité de votre app Flask.
• DATABASE_URI surprise, c'est votre base en local (et _TEST, celle de test).

(env)$ python manage.py db init
(env)$ python manage.py db migrate
(env)$ python manage.py db upgrade

(env)$ python manage.py test

test_app_is_development (test_config.TestDevelopmentConfig) ... ok
test_app_is_production (test_config.TestProductionConfig) ... ok
test_app_is_testing (test_config.TestTestingConfig) ... ok
test_add_new_song (test_routes.TestRoutes)
test_for_adding_a_song ... ok
test_add_song_already_added (test_routes.TestRoutes)
test_for_adding_an_already_added_song ... ok
test_clear (test_routes.TestRoutes)
test_for_get_all_songs ... ok
test_getall (test_routes.TestRoutes)
test_for_get_all_songs ... ok
test_getall_emptylist (test_routes.TestRoutes)
test_for_get_all_songs_with_empty_list ... ok

----------------------------------------------------------------------
Ran 8 tests in 0.250s

OK

(env)$ python manage.py runserver

$ curl -X POST -H "Content-Type: application/json" -d '{"title": "Atomic - Blondie","year" : 1979}' http://localhost:5000/add
$ curl http://localhost:5000/getlist
$ curl -X DELETE http://localhost:5000/clear

4. Gitlab-CI

Job1:
    type: type de job
    service:
    - image Docker utilisée par le script (comme par exemple une db)
    variables:
    - variable1 (qui va etre utilisée par le service au-dessus)
    - variable2
    script:
    - tâche1
    - tâche2
    - tâche3
 Job2:
     type: type de job
    script:
    - tâche1
    - tâche2
    - tâche3

• script (surprise) va définir le script à exécuter
• before_script/after_script va définir des instructions à exécuter (surprise) avant ou après l'exécution de la tâche
• image et service définit l'utilisation de conteneurs Docker
• only/except limitation sur le lancement ou non de la tâche

• test pour les tests (étonnant) lancés à chaque commit
• staging pour une pre prod sur une instance Heroku pour chaque commit sur master
• prod pour une prod sur une instance Heroku dès que la branche master est taggée

test:
  services:
  - postgres:latest
  variables:
    POSTGRES_DB: songlist_test
    POSTGRES_USER: runner
    POSTGRES_PASSWORD: "pass"
  script:
  - apt-get update -qy
  - apt-get install -y python-dev python-pip
  - pip install -r requirements.txt
  - export SECRET_KEY="UnePhraseSecreteBadass"
  - export DATABASE_URI="postgres://$POSTGRES_USER:$POSTGRES_PASSWORD@postgres:5432/songlist_test"
  - export DATABASE_URI_TEST="postgres://$POSTGRES_USER:$POSTGRES_PASSWORD@postgres:5432/songlist_test"
  - export APP_SETTINGS="core.server.config.TestingConfig"
  - python manage.py test

• créer un conteneur dans lequel il va installer un environnement python
• installer les paquets du projet contenu dans le requirements.txt
• définir les variables d'environnement propre à celui de Gitlab (SECRET_KEY et APP_SETTINGS)
• définir l'URI de la base testée ici
• exécuter les tests par la commande python manage.py test

$ git add .
$ git commit -m "ajout gitlabci"
$ git push origin master

staging:
  type: deploy
  script:
  - apt-get update -qy
  - apt-get install -y ruby-dev
  - gem install dpl
  - dpl --provider=heroku --app=votre_nom_app_staging --api_key=$HEROKU_STAGING_API_kEY
  only:
  - master

• provider ici Heroku, si vous avez bien suivi
• app le nom de votre app en staging chez votre provider
• api_key la clef qui va permettre à Heroku d'autoriser le déploiement par Gitlab sur cette app (on voit ça après)

production
  type: deploy
  script:
  - apt-get update -qy
  - apt-get install -y ruby-dev
  - gem install dpl
  - dpl --provider=heroku --app=votre_nom_app --api_key=$HEROKU_PROD_API_kEY
  only:
  - tags

• provider toujours Heroku
• app le nom de votre app de prod chez votre provider
• api_key la clef qui va permettre à Heroku d'autoriser le déploiement par Gitlab sur cette app (on voit ça juste après)

• Caching qui permet d'économiser du temps en gardant du contenu de jobs déjà réalisés
• Auto DevOps qui offre un panel de fonctionnalités DevOps du building au monitoring
• Chat Ops qui permet aux jobs d'interagir avec des canaux de chat comme Slack
• Ou encore une intégration de Docker bien pratique

5. Heroku

$ heroku login

$ heroku create votre_nom_app
$ heroku create votre_nom_app_staging
$ heroku pipelines:create songlist --app=votre_nom_app

? Stage of votre_nom_app (Use arrow keys)
development
staging
❯ production

$ heroku pipelines:add songlist -a votre_nom_app_staging

API Key :

Champs Gitlab :

heroku config:set APP_SETTINGS="core.server.config.ProductionConfig" --app votre_nom_app_staging
heroku config:set APP_SETTINGS="core.server.config.ProductionConfig" --app votre_nom_app
heroku config:set SECRET_KEY="UnePhraseSecreteBadass" --app votre_nom_app
heroku config:set SECRET_KEY="UnePhraseSecreteBadass" --app votre_nom_app_staging

$ heroku addons:create heroku-postgresql:hobby-dev -a votre_nom_app_staging
$ heroku addons:create heroku-postgresql:hobby-dev -a votre_nom_app

$ heroku config:set DATABASE_URI="postgres://URI_FOURNIE_PAR_HEROKU_POUR_BASE_STAGING" -a votre_nom_app_staging
$ heroku config:set DATABASE_URI="postgres://URI_FOURNIE_PAR_HEROKU_POUR_BASE_PROD" -a votre_nom_app

web: gunicorn core.server:app
upgrade: python manage.py db upgrade

• web : qui sera lancé automatiquement et qui va lancer votre app avec un serveur web Gunicorn
• upgrade : qui va vous permettre de réaliser les migrations et upgrade de la base.

$ git add .
$ git commit -m "initial commit"
$ git push origin master

$ heroku run upgrade --app votre_nom_app_staging

$ git tag -a v1.0 -m "v1.0"
$ git push origin v1.0

$ heroku run upgrade --app votre_nom_app