ABONAMENTE VIDEO REDACȚIA
RO
EN
NOU
Numărul 141
Numărul 140 Numărul 139 Numărul 138 Numărul 137 Numărul 136 Numărul 135 Numărul 134 Numărul 133 Numărul 132 Numărul 131 Numărul 130 Numărul 129 Numărul 128 Numărul 127 Numărul 126 Numărul 125 Numărul 124 Numărul 123 Numărul 122 Numărul 121 Numărul 120 Numărul 119 Numărul 118 Numărul 117 Numărul 116 Numărul 115 Numărul 114 Numărul 113 Numărul 112 Numărul 111 Numărul 110 Numărul 109 Numărul 108 Numărul 107 Numărul 106 Numărul 105 Numărul 104 Numărul 103 Numărul 102 Numărul 101 Numărul 100 Numărul 99 Numărul 98 Numărul 97 Numărul 96 Numărul 95 Numărul 94 Numărul 93 Numărul 92 Numărul 91 Numărul 90 Numărul 89 Numărul 88 Numărul 87 Numărul 86 Numărul 85 Numărul 84 Numărul 83 Numărul 82 Numărul 81 Numărul 80 Numărul 79 Numărul 78 Numărul 77 Numărul 76 Numărul 75 Numărul 74 Numărul 73 Numărul 72 Numărul 71 Numărul 70 Numărul 69 Numărul 68 Numărul 67 Numărul 66 Numărul 65 Numărul 64 Numărul 63 Numărul 62 Numărul 61 Numărul 60 Numărul 59 Numărul 58 Numărul 57 Numărul 56 Numărul 55 Numărul 54 Numărul 53 Numărul 52 Numărul 51 Numărul 50 Numărul 49 Numărul 48 Numărul 47 Numărul 46 Numărul 45 Numărul 44 Numărul 43 Numărul 42 Numărul 41 Numărul 40 Numărul 39 Numărul 38 Numărul 37 Numărul 36 Numărul 35 Numărul 34 Numărul 33 Numărul 32 Numărul 31 Numărul 30 Numărul 29 Numărul 28 Numărul 27 Numărul 26 Numărul 25 Numărul 24 Numărul 23 Numărul 22 Numărul 21 Numărul 20 Numărul 19 Numărul 18 Numărul 17 Numărul 16 Numărul 15 Numărul 14 Numărul 13 Numărul 12 Numărul 11 Numărul 10 Numărul 9 Numărul 8 Numărul 7 Numărul 6 Numărul 5 Numărul 4 Numărul 3 Numărul 2 Numărul 1
×
▼ LISTĂ EDIȚII ▼
Numărul 114
Abonament PDF

IoT: Căsuța cu mesaje

Ovidiu Mățan
Fondator @ Today Software Magazine



PROGRAMARE


Proiectele IoT sunt cireașa de pe tort pentru programatori. Este, dacă vreți, un mod prin care se pot realiza proiectele simple dar care pun în valoare ideile voastre, ale familiei sau prietenilor. De regulă, acestea vizează eficientizarea modului cum relaționăm cu obiectele din viața de zi cu zi. De exemplu, anul trecut am realizat un termostat IoT care, deși a pornit inițial ca o joacă, îl folosesc în continuare pentru asigurarea temperaturii optime în casă. În acest articol vom construi împreună un alt proiect IoT: Căsuța cu mesaje.

Căsuța cu mesaje este un dispozitiv pentru transmiterea de mesaje fără a implica trimiterea unui SMS sau a discuta la telefon. Va fi un singur buton care, odată apăsat, va înregistra un mesaj audio. La următoarea apăsare, dispozitivul va reda acel mesaj. Căsuța cu mesaje îi poate duce cu gândul pe cei mai nostalgici la vechile telefoane fixe, cu cordon- azi aproape dispărute din casele noastre. Cele mai sofisticate dintre acestea ofereau această posibilitate de a înregistra mesajele în caz că destinatarul nu era disponibil. Cum și-ar putea dovedi azi utilitatea un asemenea dispozitiv, când telefonul mobil aproape că a devenit ,, organul "cu care noi trăim într-o simbioză perfectă? Întrebarea nu este retorică pentru că fiecare dintre noi își amintește de situații sau poate configura scenarii posibile în care telefonul mobil își arată și punctele slabe. În cazul meu, am imaginat un context foarte simplu: plecăm de acasă și dorim să lăsăm un mesaj următoarei persoane care va intra în casă. Dincolo de discuțiile pe marginea eficienței sau ineficienței sale, rămâne plăcerea creării proiectului acestuia.

Proiectul se poate realiza pe o multitudine de variante. Oscilând între arduino și python (Raspberry Pi), am ales Python, deoarece am luat în considerare perspectiva ușurinței execuției și a dezvoltărilor ulterioare.

Hardware-ul folosit

Procesarea s-a realizat pe un Jetson Nano (4GB), dar la fel de bine putem folosi un Raspberry Pi, codul de mai jos este compatibil cu acesta. Înregistrarea și redarea sunetului vor folosi componentele configurate în sistemul de operare. În cazul de față am folosit microfonul de la o cameră web iar sunetul a fost redat tot prin USB prin intermediul unei plăci de sunet externe. Similar, se poate folosi ieșirea de sunet de pe HDMI.

Celelalte componente au fost două leduri: roșu, pentru a marca înregistrarea și galben, pentru afișarea disponibilității unui mesaj.

Provocări

Principalele provocări au fost de folosirea device-ului Jetson Nano și diferențele acestuia față de un Raspberry Pi. În primul rând, nu am avut o ieșire audio, alternativele fiind ori o placă de sunet externă, ori o conexiune Bluetooth printr-un adaptor USB.

O altă problemă au fost pinii GPIO folosiți pentru a citi datele de intrare, în cazul nostru fiind vorba de apăsarea unui buton. Odată apăsat, se transmite încontinuu valoarea True pentru răspunsul butonului, deși nu mai este cazul. Soluția a fost ca, după fiecare citire, să setăm butonul ca unul care primește date de intrare după care, să îl punem din nou ca o componentă cu rolul de a transmite datele citite:

GPIO.setup(INPUT,GPIO.OUT);
GPIO.setup(INPUT, GPIO.IN);

Înregistrarea video implică un aspecte interesante. Cu toate că este relativ simplu să înregistrăm imagini video și sunet separat, nu există o modalitate facilă care să le înregistreze simultan. Motivul sunt specializările librăriilor: grafică - cv2, sunet - pyaudio. Soluția găsită este să se realizeze o unificare a acestora la final, chiar dacă au fost realizate separat. Cum rezultatul nu este unul satisfăcător, am decis să nu includ procesarea video în proiect.

Codul Sursă

Pentru procesarea și redarea sunetului au fost folosite librăriile wave și pyaudio, iar pentru GPIO, rPI.GPIO.

import sys
import time
import RPi.GPIO as GPIO
import wave 
import pyaudio
import time

LED=18
INPUT=35
RECORDED=29
audio_record_flag = False
audio_recorded=False

def reset_mic_led():
    GPIO.setup(INPUT,GPIO.OUT);
    GPIO.setup(INPUT, GPIO.IN);

GPIO.setmode(GPIO.BOARD)
GPIO.setup(LED,GPIO.OUT)
GPIO.setup(RECORDED,GPIO.OUT)
reset_mic_led();

audio_record_flag = False
chunk = 1024
format = pyaudio.paInt16
channels = 1
rate = 22050
wave_output_filename = "output.wav"
wf=None;
stream=None
p=None

def callback(in_data, frame_count, time_info, status):
    global wf
    wf.writeframes(in_data)
    if audio_record_flag:
        return (in_data, pyaudio.paContinue)
    else :
        print("stop audio")
        return (in_data, pyaudio.paComplete)

def start_record():
    global p
    global wf
    global stream
    global audio_record_flag

    print("start_recording")
    audio_record_flag = True

    p = pyaudio.PyAudio()
    wf = wave.open(wave_output_filename, "wb")
    wf.setnchannels(channels)
    wf.setsampwidth(p.get_sample_size(format))
    wf.setframerate(rate)

    stream = p.open(
        format = p.get_format_from_width(
        wf.getsampwidth()), 
        channels = wf.getnchannels(), 
        rate = wf.getframerate(), 
        input = True, stream_callback = callback)

def stop_record():
    global audio_record_flag
    global stream
    global p
    global audio_recorded
    print("stop_record");
    if audio_record_flag==True:
        audio_record_flag = False
        while stream.is_active():
            time.sleep(1)
        stream.stop_stream()
        stream.close()
        p.terminate()
        print("audio recording done !!!!!")
        audio_recorded=True

def play():
    print("playing last message");
    global audio_recorded

    #open a wav format music  
    f = wave.open(wave_output_filename,"rb")  

    #instantiate PyAudio  
    p = pyaudio.PyAudio()  

    #open stream  
    stream = p.open(format = 
        p.get_format_from_width(f.getsampwidth()),  
                channels = 1,  
                rate = f.getframerate(),  
                output = True)  
    #read data  
    data = f.readframes(chunk)  

    #play stream  
    while data:  
        stream.write(data)  
        data = f.readframes(chunk)  

    #stop stream  
    stream.stop_stream()  
    stream.close()  

    #close PyAudio  
    p.terminate()  
    audio_recorded=False

try:
  while True:
    buttonState=GPIO.input(INPUT);
    if (buttonState==True):
      if (audio_recorded==True):
    play()
      else:
    if (audio_record_flag==False):
      start_record()
      time.sleep(1)
      GPIO.output(LED,GPIO.HIGH)
    reset_mic_led()
      else:
    GPIO.output(LED,GPIO.LOW)
    if (audio_record_flag==True):
      stop_record()
      if (audio_recorded==True):
    GPIO.output(RECORDED,GPIO.HIGH)
      else:
    GPIO.output(RECORDED,GPIO.LOW)
      time.sleep(0.1)             
finally:    
  GPIO.cleanup()

Concluzii

Sper că v-am făcut curioși cu privire la proiectul Căsuței cu mesaje. Aceasta este o primă versiune a acestui proiect și vom reveni în edițiile următoare cu noi versiuni. Dacă v-am făcut curioși, trimiteți-ne o poză cu proiectul vostru sau de ce nu cu altele care ar putea să ne inspire.

LANSAREA NUMĂRULUI 142

Robotics & AI

joi, 25 aprilie, ora 18:00

sediul Accenture

Facebook Meetup StreamEvent YouTube

Conferință

NUMĂRUL 141 - Business Anlysis (BA)

Sponsori

  • Accenture
  • BT Code Crafters
  • Accesa
  • Bosch
  • Betfair
  • MHP
  • BoatyardX
  • .msg systems
  • Yardi
  • P3 group
  • Ing Hubs
  • Colors in projects

INTERVIURI VIDEO