ABONAMENTE VIDEO REDACȚIA
RO
EN
NOU
Numărul 144
Numărul 143 Numărul 142 Numărul 141 Numărul 140 Numărul 139 Numărul 138 Numărul 137 Numărul 136 Numărul 135 Numărul 134 Numărul 133 Numărul 132 Numărul 131 Numărul 130 Numărul 129 Numărul 128 Numărul 127 Numărul 126 Numărul 125 Numărul 124 Numărul 123 Numărul 122 Numărul 121 Numărul 120 Numărul 119 Numărul 118 Numărul 117 Numărul 116 Numărul 115 Numărul 114 Numărul 113 Numărul 112 Numărul 111 Numărul 110 Numărul 109 Numărul 108 Numărul 107 Numărul 106 Numărul 105 Numărul 104 Numărul 103 Numărul 102 Numărul 101 Numărul 100 Numărul 99 Numărul 98 Numărul 97 Numărul 96 Numărul 95 Numărul 94 Numărul 93 Numărul 92 Numărul 91 Numărul 90 Numărul 89 Numărul 88 Numărul 87 Numărul 86 Numărul 85 Numărul 84 Numărul 83 Numărul 82 Numărul 81 Numărul 80 Numărul 79 Numărul 78 Numărul 77 Numărul 76 Numărul 75 Numărul 74 Numărul 73 Numărul 72 Numărul 71 Numărul 70 Numărul 69 Numărul 68 Numărul 67 Numărul 66 Numărul 65 Numărul 64 Numărul 63 Numărul 62 Numărul 61 Numărul 60 Numărul 59 Numărul 58 Numărul 57 Numărul 56 Numărul 55 Numărul 54 Numărul 53 Numărul 52 Numărul 51 Numărul 50 Numărul 49 Numărul 48 Numărul 47 Numărul 46 Numărul 45 Numărul 44 Numărul 43 Numărul 42 Numărul 41 Numărul 40 Numărul 39 Numărul 38 Numărul 37 Numărul 36 Numărul 35 Numărul 34 Numărul 33 Numărul 32 Numărul 31 Numărul 30 Numărul 29 Numărul 28 Numărul 27 Numărul 26 Numărul 25 Numărul 24 Numărul 23 Numărul 22 Numărul 21 Numărul 20 Numărul 19 Numărul 18 Numărul 17 Numărul 16 Numărul 15 Numărul 14 Numărul 13 Numărul 12 Numărul 11 Numărul 10 Numărul 9 Numărul 8 Numărul 7 Numărul 6 Numărul 5 Numărul 4 Numărul 3 Numărul 2 Numărul 1
×
▼ LISTĂ EDIȚII ▼
Numărul 79
Abonament PDF

Proiect IoT: Mașinuța prietenoasă

Ovidiu Mățan
Fondator @ Today Software Magazine



PROGRAMARE


În numărul din decembrie, am demonstrat cum putem să ne facem o mașinuță cu telecomandă. Vom continua dezvoltarea acestui proiect. De data aceasta, îi vom adăuga un pic de autonomie prin inserarea unui Raspberry Pi și a unei camere video. Folosind OpenCV pentru procesarea imaginilor și machine learning pentru recunoașterea persoanelor, vom face mașinuța să ne urmărească. 

Pregătirea

Așa cum menționam în introducere, vom avea nevoie de un Raspberry PI și o cameră video. Camera video poate fi pe USB sau pe interfața CSI. Noi am ales să folosim camera Raspberry Pi V1.3 ce folosește interfața CSI.

Arhitectura sistemului

Până acum, mașinuța era controlată de un Arduino Uno, care printr-un driver controla rotația motoarelor, iar printr-un senzor infraroșu primea comenzi de la telecomandă. Acestui sistem îi vom adăuga placa Raspberry PI, care împreună cu camera vor putea să recunoască persoanele și în funcție de distanța la care se găsesc, să se apropie sau să depărteze de acestea. Comunicarea cu Arduino se va realiza prin interfața serială, iar în practică înseamnă conectarea celor două plăci cu un cablu USB.

Programarea sistemului

Odată ce am realizat conexiunile hardware:

Putem trece la partea de programare.

Transmiterea comenzilor

Vom folosi limbajul Python datorită suportului bun pe care îl are în proiectele IoT.

Conectarea se realizează prin deschiderea unui port serial. Pentru a identifica exact numele conexiunii, în Arduino Studio, pe Raspberry Pi, mergeți la Tools->Ports pentru a vedea porturile disponibile:

ser = serial.Serial('/dev/ttyACM0', 9600, timeout=1)

Trimiterea mesajelor se realizează prin folosirea comenzii:

ser.write(msg.encode())

Pe Arduino, citirea mesajelor se face astfel:

while (Serial.available() > 0) {

 String str = Serial.readString();  

…

}

Citirea imaginilor de la cameră

Primul pas înainte de a trece la partea de cod, este să inițializați camera video folosind următoarea comandă pe Raspberry PI:

sudo modprobe bcm2835-v4l2

Vom folosi OpenCV pentru citirea imaginilor și manipularea acestora:

cap = cv.VideoCapture(0)
if not cap.isOpened:
 print('--(!)Error opening video capture') exit(0)  
while True:
 ret, frame = cap.retrieve()  
...

Parametrul 0 de la VideoCapture() este specific OpenCv și se folosește 0 dacă avem o singură cameră.

Afișarea imaginii capturate este utilă pentru o verificare inițială a detectării feței dar la care vom renunța în momentul în care prototipul este gata de acțiune deoarece nu vom afișa imaginile, recunoașterea fețelor reflectându-se în mișcarea mașinuței.

cv.imshow('Capture', frame)

Recunoașterea feței

Următorul cod folosește clasificatorii Haar iar fișierele folosite sunt parte din distribuția standard OpenCV. Pentru mai multe detalii despre OpenCV și Java, vă recomand un articol recent publicat: Recunoașterea persoanelor și a mașinilor folosind OpenCV și Java

frame = cv.flip(frame, 0)
frame_gray = cv.cvtColor(frame, cv.COLOR_BGR2GRAY)
frame_gray = cv.equalizeHist(frame_gray)
#-- Detect faces
faces = face_cascade.detectMultiScale(frame_gray)
for (x,y,w,h) in faces:
  center = (x + w/2, y + h/2)
  frame = cv.ellipse(frame_gray, center, 
  (w/2, h/2), 0, 0, 360, (255, 0, 255), 4)
  print ((x,y,w,h))

Primul pas este să întoarcem imaginea. În cazul nostru, senzorul de captură video este mai ușor de orientat invers și a trebuit să folosim metoda flip(). În continuare, vom transforma imaginea în format alb negru și vom detecta posibilele pătrate ce conțin posibile fețe detectate. Puteți folosi diferite definiții, noi am ales haarcascade_frontalface_alt2.xml.

Odată detectate coordonatele (x,y,w,h), putem să definim o strategie de mișcare a mașinuței. Dacă suntem suficient de aproape de aceasta, o putem face să înainteze către noi (w>100)

START_COMMAND='--:'
END_COMMAND='--
….
  if w > 100:
    distances=[str(x),str(w)]
    msg = ','.join(distances)
    msg = START_COMMAND+'POS:'+msg+END_COMMAND
    print("sending serial message"+msg)
    ser.write(msg.encode())
    ser.write(0)
    ser.flush()
    time.sleep(1)   

Pe Arduino vom citi comenzile și vom aplica deplasarea necesară. Pentru aceasta, vom folosi librăria Motorscontrol pe care am discutat-o într-un articol anterior ()

 String str = Serial.readString();
int commandIndex = str.indexOf(POS_command);
if (commandIndex > -1) {
   Serial.println("received POS command");
   //'--:POS:'+msg+'--'
   int separatorIndex = str.indexOf(',', 
   POS_command.length() - 1);
   int endCommandIndex = str.indexOf('-', 
   separatorIndex);
   int x = str.substring(POS_command.length(), 
   separatorIndex).toInt();
   int w = str.substring(separatorIndex + 1, 
   endCommandIndex).toInt();
   Serial.println("got info");
   Serial.print(x);
   Serial.print("_");
    Serial.println(w);

   //First, check for stop
   if (!(x == 0 and w == 0)) {
     int direction = MAX_X / 2 - x;
     Serial.print("direction=");
     Serial.println(direction);
     int positiveVal = (direction < 0) ? 
     -direction : direction;
     if (positiveVal > CENTER_RANGE) {
       if (direction > 0) {
         Serial.println("go Right");
         motorA.right();
         motorB.right();
       } else {
         Serial.println("go Left");
         motorA.left();
         motorB.left();
       }
...   

Codul de mai sus este destul de simplu din perspectiva demonstrației, iar pentru a vă face o imagine de ansamblu corectă și funcțională, vă sugerez să aruncați o privire și peste sursele complete din GitHub

Probleme și soluții

OpenCV este o librărie realizată pentru afișarea și procesarea constantă a fluxului video. În cazul nostru, recunoașterea feței va adăuga o întârziere în citirea următoarei imagini. Deoarece imaginile sunt citite de la cameră și adăugate într-un buffer, această întârziere poate ajunge până la 10 sec. în mod real, iar sistemul nu mai poate fi folosit.

Soluția aleasă este una relativ simplă, mai ales că avem nevoie de un pic de timp pentru deplasarea mașinuței. După citirea unei imagini, vom închide și redeschide fluxul video:

cap = cv.VideoCapture(0)
if not cap.isOpened:
  print('--(!)Error opening video capture')
  exit(0)
while True:
  if not cap.isOpened():
    cap.open(0)
  cap.grab()
  width = cap.get(cv.CAP_PROP_FRAME_WIDTH)  # float
  height = cap.get(cv.CAP_PROP_FRAME_HEIGHT)  # float

  print("image size="+str(width)+"::"+str(height))
  ret, frame = cap.retrieve()
  cap.release()

Concluzie

Folosirea unui hardware relativ simplu combinată cu OpenCV, procesarea de imagini și machine learning, poate adăuga feature-uri interesante micilor noastre proiecte. În următoarea ediție TSM, vom discuta cum putem recunoaște cu acest sistem o anumită persoană. 

NUMĂRUL 143 - Software Craftsmanship

Sponsori

  • Accenture
  • BT Code Crafters
  • Accesa
  • Bosch
  • Betfair
  • MHP
  • BoatyardX
  • .msg systems
  • P3 group
  • Ing Hubs
  • Colors in projects