Անձնական անգլերենի մարզիչ - AI ձայնային օգնական ՝ 15 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:48

Այս նախագիծը կօգնի այն ուսանողներին, ովքեր պատրաստվում են լեզվաբանական ցանկացած քննության, որտեղ նրանք կարող են վերապատրաստվել ՝ համագործակցելով Snips AI- ի հետ:

Քայլ 1: Պատմություն

Ինչու ենք մենք սա կառուցել:

Իմ անձնական փորձից ես տեսել եմ բազմաթիվ մարդկանց, ովքեր պատրաստվում էին տարբեր լեզվական թեստերի, ինչպիսիք են GRE, TOEFL, IELTS: Նրանք կարիք ունեն անձի, որը կօգնի նրանց մտապահել և հասկանալ բառերը: Ընդհանրապես, երբ մարդը պատրաստվում է նման քննությունների, նրանք կարիք ունեն անձի, որ ստուգի և ուղղի, եթե սխալվի: Այս լուծման շնորհիվ մենք կարող ենք կրճատել աշխատուժը `օգտագործելով ձայնային օգնական:

Քայլ 2: Սարքաշարի կառուցում

Առաջին հերթին, ես կցանկանայի շնորհակալություն հայտնել SNIPS- ին և SEEED- ին այս նախագծին սքանչելի Snips Voice Interaction Development Kit- ով (Base Kit) աջակցելու համար: Ես իսկապես տեղեկատվական էի զգում այս տախտակի միջոցով և ունակ էի հասնել PCB- ի մեջ ինտեգրված որոշ բարդ նախագծերի:

Դուք կարող եք ձեռք բերել Snips Voice Interaction Base Kit- ը 115 դոլարով, իսկ Snips Voice Interaction Satellite Kit- ը ՝ 85 $ -ով:

Քայլ 3. Սկսենք SNIPS- ով

Նախքան սկսելը, եկեք վերանայենք, թե ինչ է ձեզ հարկավոր:

• Raspberry Pi 3B/B+ (խորհուրդ է տրվում) կամ Pi 2 մոդել B (աջակցվում է):
• Micro-USB մալուխ և Micro-USB հոսանքի ադապտեր Raspberry Pi- ի համար:
• Micro SD քարտ (նվազագույնը 8 ԳԲ) - Սկսելու համար պահանջվում է օպերացիոն համակարգ: Դուք կարող եք ներբեռնել Raspbian Stretch- ը և օգտագործել ուղեցույցներ Mac OS- ի, Linux- ի և Windows- ի Raspberry Pi կայքում:
• USB ստեղնաշար և մկնիկ և արտաքին HDMI մոնիտոր - խորհուրդ ենք տալիս ձեռքի տակ ունենալ նաև USB ստեղնաշար և մկնիկ, ինչպես նաև HDMI մոնիտոր:
• Ինտերնետ կապ (Ethernet կամ WiFi)

Snips Voice Interaction Base Kit

Snips Ձայնի փոխազդեցության զարգացման հավաքածուները հնարավորություն են տալիս օգտվողներին արագ սկսել ձայնային ինտերֆեյսերի զարգացումը և հեշտությամբ ինտեգրվել Snips AI ձայնային հարթակը ապարատային սարքավորումների հետ: Snips- ն աշխատում է սարքի վրա, ինչը նշանակում է, որ ձեր բոլոր ձայնային հրամանները և տվյալները մշակվում են տեղական, այլ ոչ թե ուղարկվում են ամպ: Այս սարքի մշակումը հանգեցնում է լիովին անվտանգ անցանց ձայնային օգնականի, որը ձեր անձնական տվյալները գաղտնի է պահում, ինչպես որ դա պետք է լինի:

Ձայնի փոխազդեցության բազայի հավաքածուն թույլ է տալիս գործարկել Snips AI ձայնային ամբողջ հարթակը: Raspberry Pi 3 Model B+-ի և ReSpeaker 2-Mics Pi HAT- ի օգնությամբ այն կարող է հանդես գալ որպես ձեր տան խելացի բարձրախոս: Կոմպլեկտի հետ միասին գալիս են բարձրախոս, Grove - Temperature & Humidity Sensor (SHT31), Grove - Relay և տախտակ ՝ այն պատից կախելու կամ հնարք ստեղծելու համար:

Բայց դա դեռ ամենը չէ! Ձայնի փոխազդեցության արբանյակային հավաքածուն կընդլայնի ձեր բազային կայանը `ձեր տան յուրաքանչյուր սենյակ հասնելու համար և թույլ կտա ձեզ փոխազդել ապարատային սարքավորումների հետ` ելնելով ձեր հրամանների թողարկման վայրից:

Այս հավաքածուն պարունակում է Raspberry Pi3 B+ տախտակ, ReSpeaker 2 -Mics Pi HAT, Grove - Relay, Grove - Temperature & Humidity Sensor (SHT31), Բարձրախոս 6 Օմ 2W, MicroSD քարտ, Միկրո USB միակցիչով հոսանքի ադապտեր, Grove մալուխ x 2, Ակրիլային հիմք վահանակ.

Հավաքման քայլեր. (Բովանդակություն SNIPS- ից) Հետևյալ պատկերը հավաքման մասերի ակնարկն է:

Այստեղ հավաքման մասերը տեղադրված են բազային վահանակի վրա:

Այնուհետեւ, բոլոր էլեկտրոնային մասերը տեղադրված են տախտակի վրա:

Դրանից հետո ամրացրեք Ակրիլային պաշտպանիչ ծածկը Grove -Relay- ի վերևում:

Այս 2 մասերը օգտագործվում են Kit- ը սեղանի տակ դնելու համար:

Վերջապես, դուք պատրաստ եք խաղալ Snips- ի հետ:

Հավաքածուն ապահովում է տեղադրման երկու եղանակ: Այն կարող է կամ տեղադրվել հորիզոնական մակերևույթի վրա, ինչպես նաև տակդիրի պես, կամ կարող է կախվել պատից ՝ օգտագործելով լարեր կամ թել: Խնդրում ենք զգույշ լինել Ռելեի հետ, երբ հավաքածուն միացված է, քանի որ աշխատանքային լարումը բարձր կլինի:

ՈEՇԱԴՐՈԹՅՈՆ. Մենք ունենք նաև Snips Voice Interaction Satellite Kit, որն ունի Raspberry Pi 3B+ - ի փոխարեն Raspberry Pi զրո:

Քայլ 4. Միջերես Snips AI- ի հետ (Հիմնական նախագիծ)

• Լիցքավորեք հանդերձանքը հավաքածուի լռելյայն ադապտերով կամ օգտագործեք 5V-2A DC ադապտեր ՝ միկրո USB միակցիչով:
• Հաջորդ քայլը Snips օգնականի տեղադրումն է Raspberry Pi- ում: Կարգավորման ժամանակը խնայելու համար հանդերձանքի MicroSD քարտը լուսավորված է համակարգի ամբողջական ֆունկցիոնալ պատկերով, ինչը նշանակում է, որ Snips օգնականը պատրաստ է ձեր ձգան բառերին:
• Մենք խստորեն առաջարկում ենք ձեզ ուսումնասիրել տեղադրման քայլ առ քայլ ուղեցույց ՝ այցելելով ՝ https://docs.snips.ai/getting-started/quick-start… և սովորել sam գործիքը հրամանի տողում:
• Միացրեք օգնականին ՝ ասելով «Hey-snips» և հետևեք հրահանգին.

Ստորև կարող եք գտնել Snips Voice Interaction բազային հավաքածուի մեջ նախապես տեղադրված օրինակի տեսանյութը:

Քայլ 5. Միջերես Snips AI- ի հետ (Project AI)

Այսպիսով, սա ինչպես է աշխատում: Նախ, մենք օգտագործում ենք թեժ բառը Snips- ի ճանաչում սկսելու համար: Այն հասկանում է նախադասությունը Snips NLU- ի միջոցով և որոշում է մտադրությունը: Հաջորդը օգտագործելով մտադրությունը, համապատասխանաբար հանեք անցքերը: Գործողությունների կոդով մենք ծրագրավորում ենք արհեստական ինտելեկտի պատասխանը `համապատասխան անցքերին:

Քայլ 6: Հավելվածի և մտադրությունների ստեղծում

• Ստեղծեք Օգնական: Իմ դեպքում ես ստեղծել էի օգնական JARVIS անունով և JARVIS թեժ բառով:
• Ստեղծեք հարմարեցված ծրագիր կամ սկսնակների համար օգտագործեք դիմումը գրադարանից:
• Ես ստեղծել էի Applicationրագիր ՝ Բառեր անունով
• Ստեղծեք մտադրություն և սկսեք վերապատրաստել AI- ն: Սա մեծ դեր է խաղում ձեր AI- ն ամուր դարձնելու գործում: Մարզեք այն հնարավոր բոլոր միջոցներով:
• Բառերը նույնականացնելու համար ստեղծեք անցք: Տեղադրեք անցքը նախադասության ակնկալվող արտահայտության վրա: Իմ օրինակի համար տրված բառը բնիկի անվանումն է և այն ընդգծված է կապույտով:
• Ավարտելուց հետո ձեր անհատականացված ASR- ը պատրաստ կլինի: Փորձեք մուտքերի միջոցով: Մենք կարող ենք գտնել պատասխանը ձեր աջ կողմում ՝ օգնականի ներքևում: Սա ձեզ տալիս է հում արժեքի, մտադրության անվան և անցքի արդյունահանում:
• Ստորև բերված օրինակները սահմանեք ավելի շատ օրինակներով
• Վերջապես, գործարկեք ձեր օգնականին ՝ ձեր անհատականացված AI- ն փորձելու համար:

Քայլ 7. Այրեք Raspbian- ը SD քարտի վրա

Raspbian- ը Raspberry Pi- ով աշխատող ընտրովի Linux բաշխումն է: Այս ուղեցույցում մենք կօգտագործենք Lite տարբերակը, բայց Desktop տարբերակը (որը գալիս է գրաֆիկական միջավայրով) նույնպես կարող է օգտագործվել:

• Ներբեռնեք Etcher- ը և տեղադրեք այն:
• Միացրեք SD քարտի ընթերցողին SD քարտի ներսում:
• Բացեք Etcher- ը և ձեր կոշտ սկավառակից ընտրեք Raspberry Pi.img կամ.zip ֆայլը, որը ցանկանում եք գրել SD քարտին
• Ընտրեք SD քարտը, որին ցանկանում եք գրել ձեր պատկերը:
• Վերանայեք ձեր ընտրած տարբերակները և կտտացրեք «Flash»: սկսել SD քարտին տվյալների գրել

Միացրեք սարքը ձեր ցանցին

• Միացրեք SSH մուտքը ՝ ավելացնելով դատարկ ֆայլի ssh, որը կրկին տեղադրված է ձեր SD քարտի բեռնախցիկի ծավալի արմատում:
• Տեղադրեք SD քարտը Raspberry Pi- ի մեջ: Այն կբեռնվի մոտ 20 վայրկյանում: Այժմ դուք պետք է SSH մուտք ունենաք ձեր Raspberry Pi- ին: Լռելյայն, դրա հյուրընկալողի անունը կլինի raspberrypi.local: Ձեր համակարգչում բացեք տերմինալի պատուհան և մուտքագրեք հետևյալը.

ssh [email protected]

Լռելյայն գաղտնաբառը ազնվամորին է

Քայլ 8: Տեղադրեք Snips պլատֆորմը

Եթե դեռ չեք հասցրել, տեղադրեք Sam հրամանի տողի միջերեսը ձեր համակարգչում: Բացեք տերմինալի պատուհանը և մուտքագրեք.

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Գտեք ձեր Raspberry Pi ցանցը ՝ գործարկելով.

sam սարքեր

Հաջորդը, կապ հաստատեք սարքի հետ: Ձեզանից կպահանջվի սարքի օգտանունը և գաղտնաբառը (կանխադրվածը համապատասխանաբար ՝ pi և ազնվամորի է).

sam միացնել

Այժմ մենք պատրաստ ենք տեղադրել Snips հարթակը Raspberry Pi- ի վրա: Մուտքագրեք հրամանը.

sam init

Քայլ 9: Կարգավորեք սարքաշարը

Սեմը տալիս է որոշ հրամաններ `հեշտությամբ տեղադրելու և կազմաձևելու ապարատային բաղադրիչները: Այս բաժնում մենք կստեղծենք բարձրախոս և խոսափող: Կախված ձեր կազմաձևից, անհրաժեշտ է կատարել որոշ անհատական / u200b / u200b կազմաձևեր:

sam setup աուդիո

Փորձարկեք խոսնակը

Ստուգելու համար, որ խոսնակը աշխատում է, գործարկեք

sam թեստի խոսնակ

Եթե ամեն ինչ լավ է աշխատում, դուք պետք է ձեր խոսնակի վրա լսեք մի քանի բառ ասող ձայն: Խոսափողի կազմաձևում Կարող եք ստուգել, որ խոսափողը աշխատում է.

sam փորձարկման խոսափող

Ենթադրելով, որ ունեք բարձրախոս, եթե հստակ կարող եք լսել այն, ինչ ասել եք, կարող եք առաջ շարժվել ՝ առանց խոսափողի հետագա կազմաձևման:

Երբ համոզվեք, որ ձեր սարքաշարի կարգավորումը գործում է, պատրաստ եք անցնել հաջորդ քայլին, որտեղ դուք կտեղակայեք ձեր առաջին օգնականը:

Քայլ 10: AI մոդելի ներմուծում վահանակից

Նախորդ քայլերից ձեր օգնականը ստեղծելուց հետո տերմինալի պատուհանից մուտք գործեք վահանակ ՝ գործարկելով.

sam մուտք

Ձեզանից կպահանջվի մուտքագրել ձեր Snips Console- ի հավատարմագրերը:

Հաջորդը, տեղադրեք օգնականը.

sam տեղադրման օգնական

Եթե վահանակում ստեղծել եք մի քանի օգնական, ձեզանից կառաջարկվի ընտրել, թե որ մեկը տեղադրի ցուցակից:

Քայլ 11: Handler & Action Code

Որպեսզի Raspberry Pi- ն արձագանքի, մենք ստիպված կլինենք գրել որոշ մշակողի կոդ: Սա ծածկագիր է, որը կատարվում է, երբ Snips հարթակում տեղի է ունենում որոշակի իրադարձություն, օրինակ, երբ դիտավորությունը հայտնաբերվում է:

Դուք ունեք տարբեր մեթոդներ ՝ Handler- ը ստեղծելու համար ՝ կախված գործառույթից:

Ստեղծեք թղթապանակ ձեր համակարգչի վրա, որի վրա ցանկանում եք պահել ձեր գործարկողի ծածկագիրը: Տերմինալի պատուհանից անցեք այդ գրացուցակին և մուտքագրեք.

npm ինիտ

Սա կստեղծի pack.json անունով ֆայլ, որը պարունակում է ձեր նախագծի նկարագրությունը, կախվածությունը և ավելին: Հաջորդը, ավելացրեք mqtt փաթեթի կախվածությունը.

npm տեղադրել mqtt -պահպանել

Այժմ ստեղծեք index.js անունով ֆայլ և տեղադրեք հետևյալ ծածկագիրը ՝ փոխարինելով hostname փոփոխականը ձեր Raspberry Pi- ի հյուրընկալող անունով (եթե այն տարբերվում է կանխադրված raspberrypi- ից):

var mqtt = պահանջել ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var հաճախորդ = mqtt.connect (հյուրընկալողի անուն); client.on ('Connect', function () {console.log ("[Snips Log] Connected to MQTT broker" + hostname); client.subscribe ('hermes/#');}); client.on ('հաղորդագրություն', գործառույթ (թեմա, հաղորդագրություն) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} այլ դեպքում, եթե (topic === "hermes/asr/stopListening") {onListeningStateChanged (կեղծ);} այլ դեպքում (topic.match (/hermes \/hotword / /.+ \/found/g)! == null) {onHotwordDetected ()} այլ դեպքում, եթե (topic.match (/hermes) /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (հաղորդագրություն));}}); գործառույթը onIntentDetected (մտադրություն) {console.log ("[Snips Log] Intent հայտնաբերվել է." + JSON.stringify (մտադրություն)); } գործառույթը onHotwordDetected () {console.log ("[Snips Log] Թեժ բառը հայտնաբերվեց"); } գործառույթը onListeningStateChanged (լսում) {console.log ("[Snips Log]" + (լսո՞ւմ եք. "Start": "Stop") + "listening"); }

Գործարկեք այս կոդը ՝ օգտագործելով Node:

հանգույցի ինդեքս. js

Դուք պետք է տեսնեք Snips MQTT բրոքերին հաջող կապի հաղորդագրություն: Ինչպես նախկինում, կատարեք ձայնային փոխազդեցություն ձեր Raspberry Pi- ի հետ.

Hey Snips, ինչ եղանակ է Չեննայում

Դուք պետք է տեսնեք, որ տեղեկամատյանները թարմացվեն.

[Snips Log] Միացված է MQTT բրոքերին mqtt: //raspberrypi.local

[Snips Log] Թեժ բառ է հայտնաբերվել [Snips Log] Սկսել լսելը [Snips Log] Դադարեցնել լսել [Snips Log] Մտադրությունը հայտնաբերվել է ՝ {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" լռելյայն "," մուտքագրում ":" ինչ եղանակ է Չենայում "," մտադրություն ": {" purposeName ":" searchWeatherForecast "," հավանականություն "` 0.73845243}, "slots": [{"rawValue": " chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," unit ":" localality ", "slotName": "forecast_locality"}]}

Քայլ 12: Խնդիրների վերացում

Եթե կա մեկը, ջնջեք նախորդ օգնականը:

$ sudo rm -rf/usr/share/snips/օգնական/

Գրացուցակը Օգնականին փոխելու համար

cd/var/lib/snips/skills/

Ռեպոյի բովանդակությունը տեղայնացնելու համար

git կլոնավորել

Setup.sh սցենարը գործարկելու համար

./ Setup.sh

Ակտիվացրեք վիրտուալ միջավայրը

աղբյուր venv/bin/activ

Գործարկեք գործողությունների կոդը

./action-.py

Python Script- ին թույլտվություն տալու համար

chmod +x action-.py

Քայլ 13: պարիսպ

• Այս նախագծի համար ես օգտագործել էի IP գնահատված պատյան
• Նախ, ես անհրաժեշտ անցքեր կատարեցի հոսանքի լարի և HDMI մալուխի միացման և անցքերի տեղադրման համար:
• Հետո ամբողջ Raspberry Pi- ն տեղադրեցի պարիսպի ներսում և ամուր պտուտակեցի:
• Ես փոքր բացվածք արեցի Բարձրախոսի և խոսափողի համար և ծածկեցի այն ՝ օգտագործելով մի փոքր կտոր ակրիլային թերթ:
• Ամուր միացրեք բարձրախոսը ReSpeaker գլխարկին:
• Ի վերջո, բոլոր պտուտակները ամուր տեղադրված են, և հոսանքի մալուխը տեղադրվում է անցքի միջոցով:
• Ահա թե ինչպես է վերջապես հայտնվում AI- ն: D

Քայլ 14: AI- ի աշխատանքը

Դուք կարող եք գտնել այն տվյալները, որոնք վերահսկվում են Snips-watch- ի միջոցով

Հիմա ցուցադրման ժամն է: Ես սկսեցի պատրաստել պարզ ողջույնների AI- ով: Դիտեք դրա գործառույթը:

Trainer AI- ն ծրագրված է սահմանափակ բառերի համար: Սա երկարաձգվում է փոքր փոփոխություններով: Սա օգնում է Ուսանողներին ավելի արագ մտապահել իմաստը, քան ավանդական մեթոդը:

Բարի ուշադրություն. Այս նախագիծը պատրաստված է մոտավորապես 25 բառի համար: Այն կարող է հետագայում ընդլայնվել ՝ գործողության կոդի մեջ փոքր փոփոխություններ կատարելով:

Գործողության սցենարները կարող եք գտնել իմ կցված Github պահեստում:

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Հղում դեպի Իմ դիմում ՝

Ամբողջ տեղադրումն արժե մոտ $ 115, որը կարելի է ձեռք բերել SNIPS- ից, և այս լուծումը շատ էժան և արդյունավետ է `համեմատած ավանդական մեթոդների հետ: Մոտ 100,000 -ից ավելի թեստեր են անցկացվել Հնդկաստանում, և այս ապրանքը կլինի լավագույն հավելումը GRE ընդունողների համար:

Ձեռք տվեք, եթե դա իսկապես օգնեց ձեզ և հետևեք իմ ալիքին հետաքրքիր նախագծերի համար::) Եթե ցանկանում եք, կիսվեք այս տեսանյութով: Երջանիկ եմ, որ բաժանորդագրվել եք. Https://console.snips.ai/store/hy/skill_xBKlxnE5K… Շնորհակալություն ընթերցման համար: