Archives par étiquette : Integration continue

image

Déploiement automatisé avec TFS 2012 (Partie 1)

Nous avons vu précédemment comment intégrer les modifications de schémas d’une base de données dans un process d’intégration continue, la prochaine étape naturelle après la mise en place d’un processus est d’arriver à automatiser le déploiement d’une application directement depuis une build.

Le principe est simple : arriver à déployer une build en un seul click que cela soit vers un environnement de tests ou un environnement de production.

image

TFSDeployer est un projet CodePlex qui permet de mettre en place cela assez simplement.

Le principe est simple, TFS permet de définir des indicateurs qualité de builds :

image

TFSDeployer permet de s’abonner au changement d’indicateur qualité sur une build et de déclencher un script batch ou un script powershell lors de changement.

Vous pouvez ainsi récupérer toutes les informations nécessaires sur la build en question et lancer votre script de déploiement.

Exemple : Un testeur va sur la fiche de la build qu’il souhaite tester, sélectionne la qualité “Ready for Initial Test”, et automatiquement la build se déploie sur son environnement de tests.

Pour l’installation de TFSDeployer et la préparation des scripts je vous laisse soin de suivre les instructions sur les pages dédiées :

Une fois la solution déployée, il vous faut donc définir votre processus déploiement.

Cela se fait en deux étapes :

  • La définition des déploiement
  • L’écriture de script de déploiement

Mise à jour d’un logiciel client

Commençons par le cas le plus simple, la mise à jour d’un poste client. Pour cela une build spécifique existe nous allons donc créer une définition de déploiement qui permettra de déployer sur une machine de test.

Pour cela créer le fichier xml adéquat (comme indiqué dans la doc) et le placer dans le contrôleur de code source.

Dans mon cas, plusieurs testeurs interviennent sur les différents projets et disposent de leurs propres environnements de tests (machines physiques ou VM).

J’ai donc commencé par créer un indicateur de qualité de build par personne :

image

Le fichier de définition des déploiements a été créé en conséquence :

image

Comme vous pouvez le constater, j’ai opté pour l’utilisation de scripts batch traditionnels et non de scripts Powershell.

J’ai également ajouté un paramètre de script additionnel “ScriptParameter” qui me permet d’indiquer le nom de la machine sur laquelle je souhaite déployer ma build.

Passons maintenant à la création du script en lui-même.

Pour comprendre comment créer des scripts de déploiement et récupérer les différents arguments, rendez-vous dans le dossier Samples de TFSDeployer vous y trouverez toutes les infos nécessaires.

Exemple pour un .bat :

image

Pour la copie vers la machine de tests, il suffit donc de faire une “simple copie” de fichiers à ceci près qu’il faut la faire sur une machine distante.

copy %1*.* C:LoginspaceAdb.net

C:LoginspaceAdb.net étant un chemin fixe d’installation du client WPF.

Pour cela deux possibilités :

  • On créé un partage réseau (ou on utilise un existant du type NomMachineC$ ) et on effectue directement la copie comme ceci.
  • Autre solution plus exotique mais vraiment très intéressante et très puissante : l’utilisation d’un super outil de Sysinternals nommé “PsExec”

PsExec

PsExec est un outil en ligne de commande de SysInternals qui permet de lancer des process sur des machines distantes sans prendre la main dessus :

image

Par exemple, nous sommes capable d’effectuer un ipconfig sur une machine distante nommée “Froggiestation” depuis la machine « Patrice-Tablet” et même de récupérer les résultats de cette exécution via la simple ligne de commande présente ci-dessus.

Nous allons donc utiliser cette technique pour effectuer la copie des fichiers assez simplement :

image

L’exécution de cette ligne de code effectuera la copie de fichiers non pas depuis la machine d’exécution du script mais depuis la machine passée en paramètre dans le script.

Ainsi le « C:LoginspaceAdb.net pourra dynamiquement être celui de la machine “VMDovadisChristine” ou “VMDovadisSandrine” ou autre en fonction des infos définies dans la définition du déploiement.

Une fois ce script fait il faudra le placer dans un fichier “DeployToTestEnvironment.cmd” en source control à côté de cette définition pour automatiquer le lancer lors du changement de la qualité d’une build.

Nous verrons ensuite dans la deuxième partie en quoi psexec peut nous permettre d’aller beaucoup plus loin dans l’automatisation de ces déploiements.

Dans les prochaines parties nous verrons en effet comment déployer les mises à jour de schéma de bases de données,  et comment déployer un service Windows (avec arrêt et démarrage à distance).

Stay tuned !

image_thumb.png

Intégration Continue de BDD avec SQLCompare de RedGate

Nous utilisons SQL Source Control de RedGate pour le gérer le versionning de nos bases de données ainsi que SQLCompare afin de générer les scripts de mise à jour d’une version à une autre. Cette solution est en effet peu coûteuse et à mon sens plus simple à utiliser que les outils proposés par Microsoft.

L’objectif de la mise en place d’intégration continue est d’arriver à déployer de manière automatique toutes les modifications sur une base de données destinée aux tests.

Pour notre scénario exemple, j’ai donc une base de données DBTest liée au source control, et une base de données DBTest_CI non liée au source control et qui sera automatiquement mise à jour par le serveur de builds (celle-ci peut évidemment être sur un autre serveur) :

image

Pour arriver à impacter la base DBTest_CI à chaque checkin d’une modification sur la base versionnée, il est donc nécessaire de créer un processus de build en intégration continue :

image

Une fois le processus de build défini, il est nécessaire de rajouter une tâche au processus de build : cette tâche permettra d’appeler SQL Compare selon le principe suivant :

image

SQL Compare ne va pas effectuer un compare entre le source control et la base de données d’intégration mais entre le dossier de scripts présent sur le source control et cette même base.

Pour cela nous allons utiliser le fait que le processus de build par défaut un getlatest pour directement récupérer la dernière version des scripts SQL.

Pour avoir de souplesse dans les modifications du processus de builds je préfère souvent externaliser les commandes à réaliser via un fichier .bat ou un fichier powershell. L’intêret est que le développement en est beaucoup plus simple (plus besoin de fait un checkin/checkout de la définition de la build à chaque modification), l’inconvénient est que cette définition n’est donc pas versionnée.

Vous pouvez donc utiliser cette technique dans vos phases de définition/personnalisation de de builds et ensuite pousser vos modifications sur le source control une fois que vous avez terminé pour garder les avantages des deux solutions.

Pour lancer la commande vous pouvez utiliser l’activité InvokeProcess et spécifier en argument de la commande à lancer les informations souhaitées :

image

De plus comme vous pouvez le voir, afin d’avoir un retour dans le log de la build, j’ai placé une activité WriteBuildMessage au niveau de la gestion de l’output ce qui permettra d’avoir une tracabilité au niveau des actions effectuées.

Concernant mon .bat donc, la commande est assez simple :

SNAGHTML61b1df96

J’indique à SQL Compare d’utiliser le dossier de scripts SQL qui a été getlatesté par le processus de build, j’indique ensuite les informations de connexion au second serveur. A noter que j’utilise l’authentification SQL afin de me simplifier la vie. Le paramètre /sync indique enfin à SQL Compare de directement exécuter le résultat du compare pour synchroniser les deux sources de données.

Le résultat est que lorsque l’on checkin un ajout d’un nouveau champ dans une table de la base DBTest :

image

Une nouvelle build se déclenche automatiquement :

image

Build qui a pour effet d’automatiquement intégrer les modifications sur la base d’intégration continue :

imageimage

image

FeatureFlags : Initial Checkin sur CodePlex

Comme indiqué dans le titre, je viens de faire un premier checkin de mon état d’avancement de la librairie de gestion de FeatureFlags sur CodePlex.

image

Vous pouvez accéder au portail du projet à cette adresse : http://featureflags.codeplex.com

Pour rappel du scope actuel :

  • Création de Feature
  • Gestion de Flip au niveau code ou au niveau UI (WPF uniquement)
  • Persistence de l’état des features dans une base SQL Server

Je vais très prochainement faire une vraie application de démo pour montrer l’utilisation de librairie ainsi que la documentation pour montrer comment étendre le stockage de l’état des features.

Toutes les remarques, idées, critiques sont les bienvenues ! N’hésitez pas à m’en faire part via l’issue tracker du projet directement sur CodePlex.

image

Librairie FeatureFlags : Choix de conception

Je vous ai parlé il y a peu de l’utilisation des Feature Flags qui est une technique qui facilite la mise en place d’intégration continue, je vous avais alors indiqué que les différentes implémentations disponibles en .net ne me satisfaisait pas.

imageJ’ai donc débuté le développement d’une librairie appelée tout simplement FeatureFlags.

Avant de mettre le code à disposition sur codeplex, je vais donc partager vous les différents choix de design que j’ai effectué.

J’ai opté pour un principe simple afin de faciliter la maintenance des features : je souhaite que l’utilisation du principe soit le plus fortement typé possible afin que l’on puisse agir directement sur les différents emplacements dans le code où une feature est utilisée.

Ainsi toute suppression de feature (car plus utile, par exemple dans le cas d’une activation définitive), doit lever différentes erreurs de compilation afin de forcer le développeur à supprimer tout le code inhérent.

Niveau UI

Mon besoin étant uniquement orienté autour d’applications WPF, je me suis attardé uniquement sur ce type d’intégration.

L’objectif est de pouvoir afficher ou non n’importe quel contrôle WPF en fonction de l’état d’activation d’une fonctionnalité.

Pour une intégration simple et souple, j’ai opté pour l’implémentation d’une custom MarkupExtension.

Cette solution de lier très simplement une propriété Visibility à une Feature et permet également de rester fortement typé. Si la classe de définiton de la feature est supprimée, nous nous retrouverons avec une erreur de compilation XAML facilement détectable.

image

A noter la possibilité d’afficher des contrôles en fonction de la non activation d’une feature via la définition de la propriété IsEnabled (définie à True par défaut) :

image

D’un point de vue du rafraichissement, j’ai opté pour une récupération de l’état d’activation de la feature en “One Time” uniquement au moment de la récupération de la MarkupExtension. Cela signifie que si l’état d’activation change alors que la fenêtre parent est déjà chargé, l’UI ne sera pas impactée.

Niveau Code

D’un point de vue code, le flip se fait de manière très simple :

image

Je viendrais dans un prochain post sur la gestion de la persistence de l’état des features en base de données.

N’hésitez pas à me faire part de vos remarques sur ce design par rapport aux autres libraires du marché.

image

Gestion des évolutions grâce aux Feature Flags

Gérer correctement les évolutions dans un projet logiciel n’est pas simple car il faut arriver à gérer le cycle des releases qui en général est beaucoup plus rapide que le rythme de mise à disposition de certaines fonctionnalités qui prennent du temps à être développé.

Il est donc souvent nécessaire de mettre en place certains mécanismes permettant d’arriver à livrer très régulièrement une application “malgré” des développements en cours non finalisés.

Première principe et le plus populaire :

La mise en place de branching

Quelle que soit la stratégie de branching choisie (branche corrective + branche évolutive, branches par version, ou branches par fonctionnalité – je vous recommande d’ailleurs ce guide sur les différentes stratégies de branching que l’on peut mettre en place –), la mise en place de branches ajoute une surcharge de travail qui est gérable mais qui peut être conséquente.

Il y a bien évidemment la surcharge de travail pour les développeurs au niveau des merges entre les différentes branches, mais également une surcharge de travail d’un point de vue des tests.

Il est en effet nécessaire d’effectuer des tests sur la branche sur laquelle le développement a été effectué, mais également sur toutes les autres branches sur lesquelles les modifications vont être fusionnées.

Il s’agit donc d’une technique qui peut avoir un impact sur la vélocité des releases, sur le rythme de mise à disposition de nouvelles fonctionnalités.

Les feature flags

Autre principe plus léger à mettre en place : les feature flags.

imageLe principe est simple : afin d’être capable de gérer les évolutions, il suffit de développer les fonctionnalités et de les livrer même non finalisés dans les différentes releases mais de les désactiver afin de les rendre inacessibles aux utilisateurs.

Il suffira ensuite de les activer ou non directement au runtime par configuration, sans aucune modification de code et donc sans aucun déploiement lorsqu’on le souhaitera.

 

 

Plusieurs avantages à ce principe :

  • On ne ralentit pas la cadence des releases puisqu’on livre les fonctionnalités non terminées (qui resteront masquées)
  • On peut activer ou non certains certains fonctionnalités en fonction des différents clients (selon leur profil par exemple) afin de les faire participer à des phases de tests (alpha, beta, etc.)
  • On n’est capable de revenir en arrière en cas de problème car en général les feature flags doivent pouvoir être accompagnées de logique de rollback

Ce concept a été mis en place et mis en avant par les équipes de Flickr. Je vous invite d’ailleurs à consulter le post de fin 2009 présentant le principe et son application au site web flickr.

Le principe a été ensuite décrit par Martin Fowler via le pattern Feature Toggle.

Il existe différentes implémentations des feature flags dans l’ecosystème .net : FeatureSwitcher, FeatureToggle, NFeature

La plupart des librairies reposent sur le même principe : on active ou désactive les features de l’application en passant par le fichier de configuration de l’application.

D’un point de vue de la représentation des features au niveau du code, la plupart se basent sur des classes implémentant une interface ou une classe de base, ou alors via une Enum qui permet de lister celles-ci.

N’aimant pas particulièrement les fichiers de configuration (ils sont trop compliqués à maintenir, à faire évoluer), je vais bientôt revenir vers vous avec une nouvelle libraire permettant de gérer cela directement en base de données.

Stay tuned !