Automation + VSO + Octopus =LOVE

Ciprian Filipaș
Senior Software Developer @ VE Interactive

PROGRAMARE

Cu ceva timp în urmă s-a născut un vis. Un vis care a luat naștere din cele mai adânci temeri ale comunității dezvoltatorilor de soft: visul de a livra cu succes un cod pur, curat, de calitate și, cel mai important, LA TIMP.

Odată cu creșterea rapidă a comunității IT-iștilor, ideea a început să prindă rădăcini în sufletul dev-ilor și încet, încet, să devină o mișcare, un concept, care astăzi ne domină existența profesională: CONTINUOUS DELIVERY.

Voi aborda o notă mai serioasă. Scopul oricărui dev aspirant și ambițios ar trebui să fie următorul: codul scris de tine, rodul muncii tale, trebuie să ajungă pe piață, la utilizatorul final in cel mai scurt timp.

Poate pare ușor la început; automatizezi procesele pentru a reduce timpul în care aștepți după colegi să-ți valideze "opera de artă". Astfel codul tău vede, în teorie, producția mai rapid.

În timp ce avansezi cu procesul vei trage concluzia că, probabil, ai subestimat puțin taskul și că anumite decizii luate în grabă la început îți transformă munca într-o adevărată corvoadă.

Povestea

Cu mintea la scopul nostru final și cu inimile pline de entuziasm, am demarat cursa către un viitor mai bun. Am creat un proces în OCTOPUS pentru a automatiza partea de deployment. Odată ce am eliminat taskul cel mai ușor, a venit momentul să discutăm despre elefantul din cameră. Cum rulăm automat și într-o manieră cât mai eficientă testele end-to-end, teste care au în spate Selenium.

Soluția propusă

Octopus Level

Pentru a ajunge la soluția de mai sus, am creat un nou pas în procesul existent de deployment. În acest pas am apelat API-ul pentru Visual Studio Team Services de la Microsoft și am declanșat un nou VSTS (ex VSO) build.

Totul stă într-ul script PowerShell parametrizat care arată cam așa.

$basicAuth = ("{0}:{1}" -f $BuildUsername,$BuildPassword)
$basicAuth = [System.Text.Encoding]::UTF8.GetBytes($basicAuth)
$basicAuth = [System.Convert]::ToBase64String($basicAuth)
$headers = @{Authorization=("Basic {0}" -f $basicAuth)}

$uriQueue = 'https://veinteractive.visualstudio.com/' 
  +'DefaultCollection/'
  + $ProjectName
  + '/_apis/build/builds?api-version=2.0'

$definition = @{
  id = $BuildDefinitionId
}

$bodyQueue = @{
  definition = $definition
  sourceBranch = "refs/heads/" + $branchName
}

$jsonBodyQueue = ConvertTo-Json -InputObject $bodyQueue

$response = Invoke-RestMethod -Uri $uriQueue -ContentType 
  'application/json'
   -Body $jsonBodyQueue -Headers $headers -Method Post)

if($response)
{
  $buildId = $response.id

  $uriBuildStatus = 'https://veinteractive.visualstudio.com'
    + /DefaultCollection/' + $ProjectName + '/_apis/build/builds/'
    + $buildId + '?api-version=2.0'

  $buildStatus = Invoke-RestMethod -Uri $uriBuildStatus
    -Headers $headers | Select status, result
    -ErrorAction Stop

  if($buildStatus."status")
  {
    while ($buildStatus."status" -ne 'completed')
    {
      Start-Sleep -s 10
      $buildStatus = Invoke-RestMethod -Uri $uriBuildStatus
        -Headers $headers | Select status, result
        -ErrorAction Stop

    }
  }
  else
  {
    throw "Getting the Build Status Failed"
  }

if($buildStatus."result" -ne 'succeeded')
{
  write-output "WARNING: One of the build tasks failed. The release" 
    +"candidate is not valuable. Please check the output of the build."
}
else
{
  write-output 'EPIC SUCCESS - release candidate valid'
}
}

else
{
  throw "Error on build queue"
}

Parametrii scriptului sunt:

BuildDefinitionId - Id-ul definiției de build din VSTS, care poate fi găsit sub câmpul system.definitionId;
BuildUsername - numele de utilizator folosit pentru requestul REST de build;
BuildPassword - parola aferentă numelui de utilizator;
ProjectName - numele proiectului în VSTS;
BranchName - numele branchului folosit pentru build;

Folosind acești parametri, scriptul creează un obiect de tip JSON, corpul requestului, și un header folosit la autentificare și autorizare. Odată pregătite, aceste entități sunt trimise printr-un request de tip POST către API-ul Microsoft.

VSTS Level

Definiția de build de la nivel de VSTS arată în felul următor:

Build pentru soluția de teste
Pregătirea agentului de VSTS
- Instalăm Chocolatey.

@poweshell
-NoProfile
-ExecutionPolicy unrestricted
-command "(iex ((new-bject net.webclient)
    .DownloadString('https://chocolatey.org/install.ps1'))) >$null 2>$1"
    && SET PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin

Instalăm Firefox folosind un script Powershell care apelează modulul de Chocolatey instalat la pasul anterior.

choco install firefox -version 46.0 -y --acceptlicense --force

Instalăm NUnit într-o manieră similară.

choco install nunit -version 2.6.4 -y --acceptlicense --force

3.Rularea de teste folosind NUnit. Pentru a aborda această cerință, am implementat un script parametrizat de Powershell care apelează o comandă de NUnit

Param(
  [string]$NUnitTestAssemblies, 
  [string]$Tags,
  [string]$NUnitLocation
)

$runNUnit = "& $NUnitLocation /labels /out=TestResult.txt /"
  +"xml=TestResult.xml /trace=Error /include='$Tags'"

$NUnitTestAssemblies.Split(",") | ForEach {
  $asm = $_.Trim()
  $runNUnit += " $asm"
}

Write-output $runNUnit

iex $runNUnit

Parametrii scriptului sunt:

NUnitTestAssemblies - dll-ul cu testele;
Tags - tagurile care fac parte din suita noastră (e.g. AcceptanceTests).

4.Publicarea rezultatelor în VSTS.

5.Publicarea screenshoturilor capturate în cazul unui test picat.

6.Notificarea via e-mail a unui grup țintă de persoane.

Din nou a fost folosit un script Powershell parametrizat

Param([string[]]$DistributionList, [string]$BuildUrl, [string]$BuildNumber, [string]$UserSmtp, [string]$SmtpServerParam, [string]$StmpPword, [string]$Environment, [int]$SmtpPortParam)

Write-Output 'The Distribution list is: ' $DistributionList
Write-Output 'The Build Url is: ' $BuildUrl

$From = $UserSmtp
$To = $DistributionList
$Subject = 'Test Results for ' + $BuildNumber + ' ' + $Environment

#--------------------------------------------------------

$Body = 'This is my mail, my mail is amazing!'

#--------------------------------------------------------

$SMTPServer = $SmtpServerParam
$SMTPPort = $SmtpPortParam
$pword = ConvertTo-SecureString -String $StmpPword -AsPlainText -Force
$user = $UserSmtp
$Credential = New-Object -TypeName 
  System.Management.Automation.PSCredential($user,$pword)

Write-Output 'The subject is ' $Subject
Write-Output 'The body is ' $Body

Send-MailMessage -From $From
-To $To
-Subject $Subject
-BodyAsHtml
-Body $Body
-SmtpServer $SMTPServer
-port $SMTPPort
-UseSsl
-Credential $Credential

Parametri scriptului sunt:

DistributionList - lista de distribuție,
BuildNumber - numărul buildului (identificatorul),
SmtpUser - numele de utilizator pentru SMTP,
StmpPword - parola aferentă utilizatorului,
SmtpServer - serverul de SMTP folosit pentru trimiterea e-mailului,
SmtpPort - portul folosit pe serverul de SMTP.

Și voilà, în câțiva pași am reușit să ne rulăm automat testele end-to-end în procesul de deployment, ceea ne-a adus un nivel mai mare de încredere în codul pe care îl promovăm zi de zi către clienții finali.

Concluzie

Aceasta soluție nu e nici pe departe o soluție perfectă, dar e o abordare care ne-a rezolvat o serie de provocări.

Mulțumită acestei abordări nu mai avem bătăi de cap cu crearea manuală a mașinilor virtuale dedicate rulării de teste, folosim mașini din pool-ul de build, rezultând atât într-o reducere a costurilor cât și într-o creștere semnificativă a eficienței cu care utilizăm multitudinea de agenți hostați pe aceeași mașină de build. De asemenea, managementul acelor entități este guvernat de instanța de VSTS, fapt ce reduce din presiunea deja mare pe echipele de infrastructură.

Prin utilizarea agenților de build am observat ca efect secundar că mediul de testare a devenit mai stabil și mai consistent.