Rast Studimi: AI biseduese
Mbi 3 mijë orë të dhëna të mbledhura, të segmentuara dhe të transkriptuara për të ndërtuar ASR në 8 gjuhë indiane
BHASHINI, platforma e përkthimit të gjuhës së drejtuar nga AI në Indi, është një pjesë jetike e nismës Digital India.
E krijuar për të ofruar mjete të Inteligjencës Artificiale (AI) dhe Përpunimit të Gjuhës Natyrore (NLP) për MSME-të, startup-et dhe novatorët e pavarur, platforma Bhashini shërben si një burim publik. Qëllimi i tij është të promovojë përfshirjen dixhitale duke u mundësuar qytetarëve indianë të ndërveprojnë me nismat dixhitale të vendit në gjuhët e tyre amtare.
Për më tepër, ai synon të zgjerojë ndjeshëm disponueshmërinë e përmbajtjes së internetit në gjuhët indiane. Kjo është veçanërisht e orientuar drejt fushave të interesit publik si qeverisja dhe politika, shkenca dhe teknologjia, etj. Rrjedhimisht, kjo do të nxisë qytetarët që të përdorin internetin në gjuhën e tyre, duke promovuar pjesëmarrjen e tyre aktive.
Përdorni NLP për të mundësuar një ekosistem të larmishëm të kontribuesve, subjekteve partnere dhe qytetarëve me qëllim të kapërcimit të barrierave gjuhësore, duke siguruar kështu përfshirjen dhe fuqizimin dixhital
Zgjidhja e botës reale
Lëshimi i fuqisë së lokalizimit me të dhëna
India kishte nevojë për një platformë që do të përqendrohej në krijimin e grupeve të të dhënave shumëgjuhëshe dhe zgjidhjeve teknologjike gjuhësore të bazuara në AI, në mënyrë që të ofronte shërbime dixhitale në gjuhët indiane. Për të nisur këtë iniciativë, Instituti Indian i Teknologjisë, Madras (IIT Madras) bashkëpunoi me Shaip për të mbledhur, segmentuar dhe transkriptuar grupe të dhënash të gjuhës indiane për të ndërtuar modele të të folurit shumëgjuhësh.
Sfidat
Për të ndihmuar klientin me udhërrëfyesin e të folurit të teknologjisë së të folurit për gjuhët indiane, ekipit iu desh të merrte, segmentonte dhe transkriptonte vëllime të mëdha të të dhënave trajnimi për të ndërtuar modelin e AI. Kërkesat kritike të klientit ishin:
Mbledhja e të dhënave
- Merrni 3000 orë të dhëna trajnimi në 8 gjuhë indiane me 4 dialekte për gjuhë.
- Për secilën gjuhë, furnizuesi do të mbledhë të folurit Extempore dhe
Fjalim bashkëbisedues nga grupmoshat 18-60 vjeç - Siguroni një përzierje të larmishme të folësve sipas moshës, gjinisë, arsimit dhe dialekteve
- Siguroni një përzierje të larmishme mjedisesh regjistrimi sipas Specifikimeve.
- Çdo regjistrim audio duhet të jetë së paku 16 kHz por preferohet 44 kHz
Segmentimi i të dhënave
- Krijoni segmente të të folurit prej 15 sekondash dhe vulosni audion në milisekonda për secilin altoparlant të caktuar, llojin e tingullit (të folurit, llafe, muzikë, zhurmë), kthesat, thëniet dhe frazat në një bisedë
- Krijo çdo segment për sinjalin e tij të synuar të zërit me një mbushje 200-400 milisekonda në fillim dhe në fund.
- Për të gjitha segmentet, duhet të plotësohen objektet e mëposhtme, p.sh., Koha e fillimit, Koha e përfundimit, ID-ja e segmentit, Niveli i zhurmës, Lloji i zërit, kodi i gjuhës, ID-ja e folësit, etj.
Transkriptimi i të dhënave
- Ndiqni udhëzimet e detajeve të transkriptimit rreth karaktereve dhe simboleve speciale, drejtshkrimit dhe gramatikës, shkronjave të mëdha, shkurtesave, kontraktimeve, shkronjave të folura individuale, numrave, shenjave pikësimi, shkurtesave, fjalëve të paqarta, të folurit, të folurit të pakuptueshëm, gjuhëve që nuk synojnë, jo të folurit etj.
Kontrolli i cilësisë dhe komentet
- Të gjitha regjistrimet do t'i nënshtrohen vlerësimit dhe vërtetimit të cilësisë, do të jepet vetëm fjalimi i vërtetuar
Zgjidhje
Me kuptimin tonë të thellë të AI bisedore, ne e ndihmuam klientin të mbledhë, segmentojë dhe transkriptojë të dhënat me një ekip koleksionistësh ekspertësh, gjuhëtarësh dhe shënues për të ndërtuar një korpus të madh të të dhënave audio në 8 gjuhë indiane
Fusha e punës për Shaip përfshinte, por nuk kufizohej në marrjen e vëllimeve të mëdha të të dhënave të trajnimit audio, segmentimin e regjistrimeve audio në shumëfish, transkriptimin e të dhënave dhe dërgimin e skedarëve korrespondues JSON që përmbajnë meta të dhënat [ID-ja e folësit, mosha, gjinia, gjuha, dialekti,
Gjuha amtare, kualifikimi, profesioni, domeni, formati i skedarit, frekuenca, kanali, lloji i audios, numri i folësve, numri i gjuhëve të huaja, konfigurimi i përdorur, audio me brez të ngushtë ose me brez të gjerë, etj.].
Shaip mblodhi 3000 orë të dhëna audio në shkallë duke ruajtur nivelet e dëshiruara të cilësisë së kërkuar për të trajnuar teknologjinë e të folurit për projekte komplekse. Formulari i pëlqimit të qartë u mor nga secili prej pjesëmarrësve.
1. Mbledhja e të dhënave