IoT: Căsuța cu mesaje

Ovidiu Mățan
Fondator @ Today Software Magazine

Proiectele IoT sunt cireașa de pe tort pentru programatori. Este, dacă vreți, un mod prin care se pot realiza proiectele simple dar care pun în valoare ideile voastre, ale familiei sau prietenilor. De regulă, acestea vizează eficientizarea modului cum relaționăm cu obiectele din viața de zi cu zi. De exemplu, anul trecut am realizat un termostat IoT care, deși a pornit inițial ca o joacă, îl folosesc în continuare pentru asigurarea temperaturii optime în casă. În acest articol vom construi împreună un alt proiect IoT: Căsuța cu mesaje.

Căsuța cu mesaje este un dispozitiv pentru transmiterea de mesaje fără a implica trimiterea unui SMS sau a discuta la telefon. Va fi un singur buton care, odată apăsat, va înregistra un mesaj audio. La următoarea apăsare, dispozitivul va reda acel mesaj. Căsuța cu mesaje îi poate duce cu gândul pe cei mai nostalgici la vechile telefoane fixe, cu cordon- azi aproape dispărute din casele noastre. Cele mai sofisticate dintre acestea ofereau această posibilitate de a înregistra mesajele în caz că destinatarul nu era disponibil. Cum și-ar putea dovedi azi utilitatea un asemenea dispozitiv, când telefonul mobil aproape că a devenit ,, organul "cu care noi trăim într-o simbioză perfectă? Întrebarea nu este retorică pentru că fiecare dintre noi își amintește de situații sau poate configura scenarii posibile în care telefonul mobil își arată și punctele slabe. În cazul meu, am imaginat un context foarte simplu: plecăm de acasă și dorim să lăsăm un mesaj următoarei persoane care va intra în casă. Dincolo de discuțiile pe marginea eficienței sau ineficienței sale, rămâne plăcerea creării proiectului acestuia.

Proiectul se poate realiza pe o multitudine de variante. Oscilând între arduino și python (Raspberry Pi), am ales Python, deoarece am luat în considerare perspectiva ușurinței execuției și a dezvoltărilor ulterioare.

Hardware-ul folosit

Procesarea s-a realizat pe un Jetson Nano (4GB), dar la fel de bine putem folosi un Raspberry Pi, codul de mai jos este compatibil cu acesta. Înregistrarea și redarea sunetului vor folosi componentele configurate în sistemul de operare. În cazul de față am folosit microfonul de la o cameră web iar sunetul a fost redat tot prin USB prin intermediul unei plăci de sunet externe. Similar, se poate folosi ieșirea de sunet de pe HDMI.

Celelalte componente au fost două leduri: roșu, pentru a marca înregistrarea și galben, pentru afișarea disponibilității unui mesaj.

Provocări

Principalele provocări au fost de folosirea device-ului Jetson Nano și diferențele acestuia față de un Raspberry Pi. În primul rând, nu am avut o ieșire audio, alternativele fiind ori o placă de sunet externă, ori o conexiune Bluetooth printr-un adaptor USB.

O altă problemă au fost pinii GPIO folosiți pentru a citi datele de intrare, în cazul nostru fiind vorba de apăsarea unui buton. Odată apăsat, se transmite încontinuu valoarea True pentru răspunsul butonului, deși nu mai este cazul. Soluția a fost ca, după fiecare citire, să setăm butonul ca unul care primește date de intrare după care, să îl punem din nou ca o componentă cu rolul de a transmite datele citite:

GPIO.setup(INPUT,GPIO.OUT);
GPIO.setup(INPUT, GPIO.IN);

Înregistrarea video implică un aspecte interesante. Cu toate că este relativ simplu să înregistrăm imagini video și sunet separat, nu există o modalitate facilă care să le înregistreze simultan. Motivul sunt specializările librăriilor: grafică - cv2, sunet - pyaudio. Soluția găsită este să se realizeze o unificare a acestora la final, chiar dacă au fost realizate separat. Cum rezultatul nu este unul satisfăcător, am decis să nu includ procesarea video în proiect.

Codul Sursă

Pentru procesarea și redarea sunetului au fost folosite librăriile wave și pyaudio, iar pentru GPIO, rPI.GPIO.

import sys
import time
import RPi.GPIO as GPIO
import wave 
import pyaudio
import time

LED=18
INPUT=35
RECORDED=29
audio_record_flag = False
audio_recorded=False

def reset_mic_led():
    GPIO.setup(INPUT,GPIO.OUT);
    GPIO.setup(INPUT, GPIO.IN);

GPIO.setmode(GPIO.BOARD)
GPIO.setup(LED,GPIO.OUT)
GPIO.setup(RECORDED,GPIO.OUT)
reset_mic_led();

audio_record_flag = False
chunk = 1024
format = pyaudio.paInt16
channels = 1
rate = 22050
wave_output_filename = "output.wav"
wf=None;
stream=None
p=None

def callback(in_data, frame_count, time_info, status):
    global wf
    wf.writeframes(in_data)
    if audio_record_flag:
        return (in_data, pyaudio.paContinue)
    else :
        print("stop audio")
        return (in_data, pyaudio.paComplete)

def start_record():
    global p
    global wf
    global stream
    global audio_record_flag

    print("start_recording")
    audio_record_flag = True

    p = pyaudio.PyAudio()
    wf = wave.open(wave_output_filename, "wb")
    wf.setnchannels(channels)
    wf.setsampwidth(p.get_sample_size(format))
    wf.setframerate(rate)

    stream = p.open(
        format = p.get_format_from_width(
        wf.getsampwidth()), 
        channels = wf.getnchannels(), 
        rate = wf.getframerate(), 
        input = True, stream_callback = callback)

def stop_record():
    global audio_record_flag
    global stream
    global p
    global audio_recorded
    print("stop_record");
    if audio_record_flag==True:
        audio_record_flag = False
        while stream.is_active():
            time.sleep(1)
        stream.stop_stream()
        stream.close()
        p.terminate()
        print("audio recording done !!!!!")
        audio_recorded=True

def play():
    print("playing last message");
    global audio_recorded

    #open a wav format music  
    f = wave.open(wave_output_filename,"rb")  

    #instantiate PyAudio  
    p = pyaudio.PyAudio()  

    #open stream  
    stream = p.open(format = 
        p.get_format_from_width(f.getsampwidth()),  
                channels = 1,  
                rate = f.getframerate(),  
                output = True)  
    #read data  
    data = f.readframes(chunk)  

    #play stream  
    while data:  
        stream.write(data)  
        data = f.readframes(chunk)  

    #stop stream  
    stream.stop_stream()  
    stream.close()  

    #close PyAudio  
    p.terminate()  
    audio_recorded=False

try:
  while True:
    buttonState=GPIO.input(INPUT);
    if (buttonState==True):
      if (audio_recorded==True):
    play()
      else:
    if (audio_record_flag==False):
      start_record()
      time.sleep(1)
      GPIO.output(LED,GPIO.HIGH)
    reset_mic_led()
      else:
    GPIO.output(LED,GPIO.LOW)
    if (audio_record_flag==True):
      stop_record()
      if (audio_recorded==True):
    GPIO.output(RECORDED,GPIO.HIGH)
      else:
    GPIO.output(RECORDED,GPIO.LOW)
      time.sleep(0.1)             
finally:    
  GPIO.cleanup()

Concluzii

Sper că v-am făcut curioși cu privire la proiectul Căsuței cu mesaje. Aceasta este o primă versiune a acestui proiect și vom reveni în edițiile următoare cu noi versiuni. Dacă v-am făcut curioși, trimiteți-ne o poză cu proiectul vostru sau de ce nu cu altele care ar putea să ne inspire.