ABONAMENTE VIDEO REDACȚIA
RO
EN
NOU
Numărul 149
Numărul 148 Numărul 147 Numărul 146 Numărul 145 Numărul 144 Numărul 143 Numărul 142 Numărul 141 Numărul 140 Numărul 139 Numărul 138 Numărul 137 Numărul 136 Numărul 135 Numărul 134 Numărul 133 Numărul 132 Numărul 131 Numărul 130 Numărul 129 Numărul 128 Numărul 127 Numărul 126 Numărul 125 Numărul 124 Numărul 123 Numărul 122 Numărul 121 Numărul 120 Numărul 119 Numărul 118 Numărul 117 Numărul 116 Numărul 115 Numărul 114 Numărul 113 Numărul 112 Numărul 111 Numărul 110 Numărul 109 Numărul 108 Numărul 107 Numărul 106 Numărul 105 Numărul 104 Numărul 103 Numărul 102 Numărul 101 Numărul 100 Numărul 99 Numărul 98 Numărul 97 Numărul 96 Numărul 95 Numărul 94 Numărul 93 Numărul 92 Numărul 91 Numărul 90 Numărul 89 Numărul 88 Numărul 87 Numărul 86 Numărul 85 Numărul 84 Numărul 83 Numărul 82 Numărul 81 Numărul 80 Numărul 79 Numărul 78 Numărul 77 Numărul 76 Numărul 75 Numărul 74 Numărul 73 Numărul 72 Numărul 71 Numărul 70 Numărul 69 Numărul 68 Numărul 67 Numărul 66 Numărul 65 Numărul 64 Numărul 63 Numărul 62 Numărul 61 Numărul 60 Numărul 59 Numărul 58 Numărul 57 Numărul 56 Numărul 55 Numărul 54 Numărul 53 Numărul 52 Numărul 51 Numărul 50 Numărul 49 Numărul 48 Numărul 47 Numărul 46 Numărul 45 Numărul 44 Numărul 43 Numărul 42 Numărul 41 Numărul 40 Numărul 39 Numărul 38 Numărul 37 Numărul 36 Numărul 35 Numărul 34 Numărul 33 Numărul 32 Numărul 31 Numărul 30 Numărul 29 Numărul 28 Numărul 27 Numărul 26 Numărul 25 Numărul 24 Numărul 23 Numărul 22 Numărul 21 Numărul 20 Numărul 19 Numărul 18 Numărul 17 Numărul 16 Numărul 15 Numărul 14 Numărul 13 Numărul 12 Numărul 11 Numărul 10 Numărul 9 Numărul 8 Numărul 7 Numărul 6 Numărul 5 Numărul 4 Numărul 3 Numărul 2 Numărul 1
×
▼ LISTĂ EDIȚII ▼
Numărul 92
Abonament PDF

AI folosind Jetson Nano

Ovidiu Mățan
Fondator @ Today Software Magazine



PROGRAMARE


Disponibilă pe majoritatea dispozitivelor mobile și a serviciilor social media, recunoașterea obiectelor reprezintă un prim pas în realizarea oricărei aplicații care are legătură cu interacțiunea umană. Acest articol vă va arăta cum putem realiza acest lucru cu câteva linii de cod scrise în python și care sunt avantajele principalelor modelelor existente precum alexnet, GoogleNet sau facenet .

Vom folosi în acest proiect librăria Jetson Inference. Inferența diferă de rețelele neuronale prin faptul că reprezintă un model optimizat și antrenat.

Pentru rularea aplicației, vom folosi Jetson Nano, o placă de dezvoltare IoT de la NVidia care are 4GB Ram și 128 core-uri Cuda, ceea ce o diferențiază de celelalte existente pe piață.

Primul pas este instalarea librăriei, toate detaliile și realizarea buildului local pot fi văzute pe gihub.

Se aleg modelele care vor fi descărcate:

Rulăm prima aplicație de clasificare a imaginilor, din care remarcăm fragmentul de cod următor:

# load an image (into shared CPU/GPU memory)
img, width, height = 
  jetson.utils.loadImageRGBA(
  opt.file_in)

# load the recognition network
net = jetson.inference
  .imageNet(opt.network, 
   sys.argv)

# classify the image
class_idx, confidence = 
   net.Classify(img, width, height)

# find the object description
class_desc = 
  net.GetClassDesc(class_idx)

# print out the result
print(“image is recognized as ‘{:s}’ (class #{:d}) with {:f}% confidence\n”.format(class_desc, class_idx, confidence * 100))

Fragmentul de cod de mai sus citește imaginea, realizează clasificarea acesteia folosind TensorRT și rețeaua aleasă (googlenet, alexnet sau altele). Rezultatul final este clasa obiectului detectat și procentul de precizie cu care a fost identificat acesta. Precizăm că la prima rulare se va realiza buildul pentru engine-ul Cuda, procesul durând câteva minute pe Jetson Nano.

[TRT] device GPU, configuring CUDA engine

[TRT] device GPU, building FP16: ON

[TRT] device GPU, building INT8: OFF

[TRT] device GPU, building CUDA engine (this may take a few minutes the first time a network is loaded)

Recunoașterea imaginilor, așa cum am văzut mai sus, este relativ simplă dacă ținem cont de cele câteva linii de cod. Într-o aplicație reală în schimb vom avea, de obicei, mai multe obiecte. Detectarea obiectelor implică determinarea acestora și încadrarea marginilor.

# load an image (into shared CPU/GPU memory)
img, width, height = jetson.utils
  .loadImageRGBA(“image/example.jpg”)

# load the object detection network
net = jetson.inference
  .detectNet(“sd-mobilenet-v2”, sys.argv, 
   opt.threshold)

# detect objects in the image (with overlay)
detections = net.Detect(img, width, height,
   “box,labels,conf”)

# print the detections
print(„detected {:d} objects in image”
  .format(len(detections)))

for detection in detections:
  print(detection)

# save the output image with the bounding 
# box overlays

jetson.utils.saveImageRGBA(“result.jpg”, img, 
  width, height)

În codul de mai sus a fost utilizată rețeaua inference de detectare a obiectelor sd-mobilenet-v2. Rezultatele primite de la aceasta conțin id-ul clasei obiectului detectat și dimensiunile acestuia

detected 6 objects in image

   -- ClassID: 88
   -- Confidence: 0.72526
   -- Left:    332.131
   -- Top:     631.681
   -- Right:   952.778
   -- Bottom:  1281.8
   -- Width:   620.647
   -- Height:  650.122
   -- Area:    403496
   -- Center:  (642.455, 956.742)

Ce rețele alegem pentru a detecta optim obiectele dintr-o imagine? Am ales câteva imagini de la lansările Today Software Magazine și acestea au fost rezultatele obținute. Vă lăsăm să descoperiți care este cea mai utilă pentru aplicațiile voastre.

Ssd-mobilenet-v1

Ssd-inception-v2

Pednet

Facenet

Concluzie

Sperăm că v-am deschis apetitul pentru aplicațiile de detectare a obiectelor. Rezultatele pot să difere în funcție de rețeaua de inferență aleasă. Rezultatele nu au un procent de recunoaștere precisă 100%, dar modul de a le obține e foarte simplu și accesibil.

NUMĂRUL 149 - Development with AI

Sponsori

  • Accenture
  • BT Code Crafters
  • Accesa
  • Bosch
  • Betfair
  • MHP
  • BoatyardX
  • .msg systems
  • P3 group
  • Ing Hubs
  • Cognizant Softvision
  • Colors in projects