Python – din adâncurile AWS

Ștefan Cosmin Nuțu
Analist @ Siemens IoT

Tendința ce se prefigurează în viitorul apropiat, pentru majoritatea firmelor de IT, se bazează pe ideea de a muta resursele în cloud. Pentru cei ce lucrează în sectorul IT, acest lucru înseamnă eliminarea multor probleme cu care se confruntă companiile ce folosesc multe tipuri de hardware și software de la furnizori diferiți.

Mutarea infrastructurii în cloud rezolvă o serie de probleme legate de compatibilitatea hardware și/sau software, oferind oportunități de dezvoltare în sfera DevOps. Aceasta din urmă combină abilitățile programatorilor cu ale celor care lucrează în domeniul de operațiuni, oferind un grad mai ridicat de control al soluțiilor IT.

Mutarea datelor în cloud presupune și alegerea unui furnizor de servicii cloud. Momentan există mai mulți astfel de furnizori, dar azi vom vorbi despre Amazon Web Services, deoarece este cel mai des întâlnit furnizor de astfel de servicii.

De la debutul său din 2006, Amazon Web Services a preluat toate ideile Infrastructure as a Service, Platform as a Service, Software as a Service, etc. mutându-le într-un mare serviciu, numit web service.

Practic, a reușit să elimine pentru client toate problemele legate de compatibilitate, astfel că acum clientul plătește pentru un serviciu doar atât cât îl folosește.

AWS oferă o varietate de servicii, de la mașini de calcul (ce pot fi computere fizice sau virtuale), la network access storage, domain name hosting sau monitorizare & networking. Aceste servicii sunt disponibile prin intermediul consolei AWS sau al API-urilor.

API-ul AWS este disponibil pentru toate limbajele de programare, dar cele care înregistrează cel mai mare succes este Python și Go.

Python este un limbaj de programare ce a devenit foarte popular în ultimii ani, fiind aplicabil în mai multe domenii: embedded systems, scripting, application building, etc.

API-ul AWS disponibil pentru Python se numește boto3 și acoperă momentan 50 din totalul serviciilor AWS.

Boto3 este foarte util când trebuie să creezi scripturi ce permit efectuarea sarcinilor mici de lucru, precum pornirea/oprirea unei instanțe AWS EC2:

import boto3
region = ‚us-west-1’ 
# Aici se specifică regiunea                         
# unde se află infrastructura
instances = [’i-12345cb6de4f78g9h’, 
  ’i-08ce9b2d7eccf6d26’]

ec2 = boto3.client(’ec2’, 
  region_name=region)

def lambda_handler(event, context):
    ec2.stop_instances(
      InstanceIds=instances)

    print(’stopped your instances:’ 
      + str(instances))

sau scripturi ce vor fi folosite în serviciul serverless, Lambda.

Pe lângă scripturile mici, pentru care puteți folosi Python și boto3, puteți crea aplicații ce gestionează infrastructura AWS direct, fără a fi nevoie să te conectezi la consola AWS.

Despre aceasta, doresc să vă povestesc în rândurile următoare.

AWS_Ops_Tool

În prezent, fac parte dintr-o echipă DevOps, ce creează și întreține infrastructura cloud pentru a livra Jira, Confluence și alte soluții Agile clienților noștri. Infrastructura a fost construită de la zero, iar colegii de pe operațional au fost instruiți cum să o folosească.

Majoritatea cazurilor, adică sarcinile de lucru zilnice, se pot efectua fără prea mult efort din partea colegilor care se ocupă cu domeniul operațional. Există și sarcini ce necesită mai mult timp pentru a putea fi efectuate corect.

De exemplu: un upgrade de Jira, caz în care trebuie să se efectueze mai mulți pași preliminari.

De obicei, se fac snapshoturi la datele stocate pe instanțele EC2 și RDS, ceea ce înseamnă atenție sporită și timp în plus consumat. Pentru a reduce probabilitatea erorilor umane și timpii de procesare, am creat o aplicație mică, responsabilă de realizarea de snapshoturi.

Aplicația oferă o interfață rapidă la mediul AWS. Permite efectuarea de login în mediul AWS, căutarea de informații specifice legate de resursele AWS, returnând o listă de resurse interogate și de detalii asociate acestora.

Aplicația a fost solicitată urgent, deci i s-a alocat o atenție deosebită. Pentru a putea fi utilă colegilor de pe operațional, am creat-o bazându-mă pe caracteristicile principalelor resursele AWS folosite de ei: ID-ul instanței EC2, status, numele clientului, Identificatorul DB etc.

Momentan, aplicația acoperă trei resurse AWS: instanța EC2, instanța RDS, volumul EBS, cu perspectiva unor îmbunătățiri ulterioare.

Structura aplicației

Aplicația are trei secțiuni:

• Login în mediul AWS;

• Obținerea informației despre resursele AWS utilizate;

• Crearea de snapshot .

Aplicația este scrisă în Python 3.6 (distribuție Intel) și folosește pachetul boto3.

Secțiunea de login gestionează accesul la un cont AWS temporar. Loginul în mediul AWS se face prin AWS Simple Token Service, cunoscut și sub numele de Token Vending Machine.

AWS Simple Token Service generează acces temporar ce poate dura de la câteva minute până la câteva ore. Credențialele temporare sunt activate dinamic și nu sunt stocate de utilizator. În cazul nostru, credențialele AWS STS au o valabilitate de 60 de minute, timp în care utilizatorul poate efectua sarcinile de lucru.

Utilizatorul poate verifica toate mașinile virtuale (instanțele EC2) ce rulează pe contul curent. În plus, aplicația poate afișa informații despre toate volumele de date externe (volumele EBS) și despre bazele de date (instanțele RDS).

Colegii care folosesc acest tool, pot face backupuri rapide ale instanțelor RDS și ale volumelor EBS, introducând ID-ul volumului sau identificatorul DB, în funcție de resursa pentru care e nevoie de backup.

Îmbunătățiri

Urmează a fi introduse o serie de îmbunătățiri pentru a face aplicația cât mai flexibilă și ușor de utilizat. Printre acestea, se numără: restaurarea automată a infrastructurii clientului, export de loguri din AWS, alternarea de conturi, etc.