Transcrierea și citirea unui text folosind modele OpenAI

Ovidiu Mățan
Fondator @ Today Software Magazine

PROGRAMARE

OpenAI prin chatGPT a reușit să transforme ușor lumea și să devină asistentul ideal și mereu la dispoziția noastră pentru micile taskuri sau creații grafice. Și asta, doar cu ajutorul unui prompt. Programatori fiind, vrem de obicei mai mult decât un simplu chat. Așa că haideți să folosim OpenAI API.

Setup

În cazul OpenAI-ului, folosirea API-ului nu este gratuită, așa că pe lângă abonamentul lunar la chat-gpt vom avea nevoie să adăugăm o mică sumă și în contul the API. Câțiva dolari ar trebui să fie suficienți pentru testarea și învățarea acestuia.

Următorul pas este să ne generăm o cheie privată și să setăm cu valoarea acesteia proprietatea sistemului: OPENAI_API_KEY

Conversia textului în sunet

import fs from "fs";
import path from "path";
import OpenAI from "openai";

const openai = new OpenAI();

const speechFile = path.resolve("./speech_hd_onyx_opening.mp3");

async function main() {
  const mp3 = await openai.audio.speech.create({
    model: "tts-1-hd",
    voice: "onyx",
    input: "This is a voice generated audio stream. Vă invităm să vă așezați pe scaune, începem evenimentul în 2 minute",
  });

  console.log(speechFile);
  const buffer = Buffer.from(
    await mp3.arrayBuffer());

await fs.promises
  .writeFile(speechFile, buffer);
}

main();

Folosim un exemplu de cod din documentație. Pentru model avem două opțiuni:

tts-1
tts-1-hd

și avem de-a face cu latență vs. calitate. Dacă aplicația noastră are cerințe real time, atunci vom merge cu tts-1.

Setul de voci existente este optimizat pentru engleză, dar se comportă destul de bine și în română. De exemplu, putem alege unul din următoarele caractere: alloy, echo, fable, onyx, nova și shimmer.

În general fișierele mp3 generate sunt de bună calitate. Din perspectiva IP (Intellectual Property) fișierele generate ne aparțin, singura cerință este să afișăm un text clar prin care să se menționeze că acestea au fost generate cu ajutorul AI-ului.

Conversia sunetului în text

Vom folosi pentru aceasta toolul open source Whisper. Fișierele de intrare pot fi, de exemplu, cele generate anterior sau altele audio sau video. Dat fiind că toolul rulează local veți avea nevoie de un calculator performant. Calitatea transcrierii este foarte bună din engleză, dar lasă de dorit pentru română.

Pentru rulare folosim linia de comandă astfel:

whisper

Exemplu de răspuns:

[00:00.000 --> 00:04.800]  buying proper architectur
al patterns and design patterns,
[00:04.800 --> 00:09.240]  they can abstract the cloud provider concepts that
[00:09.240 --> 00:12.200]  were spread around the code.
[00:12.200 --> 00:14.680]  So they actually put in an effort,
[00:14.680 --> 00:19.080]  created a lot of additional elements in place, 
......

Alternativ, putem folosi serviciile online, dar aici, din păcate, există o limitare dată de dimensiunea fișierului și primim eroarea: 'Maximum content size limit (26214400) exceeded (26446942 bytes read)',

import fs from „fs”;
import OpenAI from „openai”;

const openai = new OpenAI();

async function main() {
    const translation = await openai.audio
      .translations.create({
        file: fs.createReadStream(„speech.mp3”),
        model: „whisper-1”,
    });

    console.log(translation.text);
}
main();

Concluzie

Simularea vocii umane și generarea transcrierii nu au fost niciodată mai ușor de realizat. Exemplele de mai sus arată cât de repede și simplu se pot realiza cu ajutorul API-ului OpenAI. Deși serviciul de traducere nu este disponibil, vom putea în curând modifica modul în care conferințele și workshopurile sunt transmise online live prin traduceri în timp real. La aceasta se va putea adăuga și generarea de conținut audio, atunci când va fi nevoie.