Speեստ խոսքի/տեքստի փոխակերպման ձեռնոց ՝ 5 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:46

Այս ծրագրի իրականացման գաղափարը/մղումն այն էր, որ օգնեն այն մարդկանց, ովքեր դժվարանում են շփվել խոսքի միջոցով և շփվել ձեռքի ժեստերի միջոցով կամ ավելի հայտնի է որպես ամերիկյան ժեստերի լեզու (ASL): Այս նախագիծը կարող է քայլ լինել այս մարդկանց հնարավորություն ընձեռելու համագործակցել այլ մարդկանց հետ, ովքեր չեն կարողանում հասկանալ ժեստերի լեզուն: Բացի այդ, այս նախագիծը նրանց հնարավորություն կտա հրապարակային ելույթներ ունենալ առանց իրական թարգմանչի օգտագործման: Ի սկզբանե, ես միայն փորձում էի հայտնաբերել որոշ ավելի հեշտ ժեստեր, ինչպիսիք են ՝ A, B, I և այլն այբուբենը և որոշակի ժեստեր եմ նշանակել սովորական բառերի/ողջույնների վրա, ինչպիսիք են ՝ «Բարև», «Բարի լույս» և այլն:

Քայլ 1. Շրջանների հավաքում

Քայլ 2: Նախագծի մանրամասները

Այս նախագիծը ներառում է կրելի ձեռնոց ՝ ձեռքի մեջ խրված/ներդրված 4 ճկուն տվիչներով ՝ յուրաքանչյուրը փոքր, միջին, ցուցամատների և բութ մատների համար: Flex սենսորը չի օգտագործվել մատանի մատների համար `Arduino Uno R3- ում անալոգային մուտքային կապերի առկայության սահմանափակման պատճառով և ընդհանրապես մատների կողմից ժեստերի լեզուներով ցուցադրվող անկախ շարժման բացակայության պատճառով: Օգտագործվում է նաև MMA8452Q արագացուցիչ, որը խրված է ափի հետևի մասում ՝ ձեռքի կողմնորոշումը չափելու համար: Այս տվիչների մուտքը վերլուծվում և օգտագործվում է ժեստը զգալու համար: Երբ ժեստը զգացվում է, համապատասխան բնույթը/հաղորդագրությունը պահվում է փոփոխականի մեջ: Այս կերպարներն ու հաղորդագրությունները շարունակում են համախմբվել մինչև որոշակի նախապես որոշված ժեստ կատարելը, որը ցույց է տալիս նախադասության ավարտը: Երբ այդ հատուկ ժեստը հայտնաբերվի, պահված նախադասության տողը ուղարկվում է Raspberry Pi- ին USB մալուխի միջոցով Arduino- ի կողմից: Այնուհետև Raspberry Pi- ն ստացված տողն ուղարկում է Պոլլի անունով Amazon Cloud ծառայությանը ՝ տեքստային ձևաչափով ստացված նախադասությունը փոխակերպելու խոսքի ձևաչափի, այնուհետև ստացված խոսքը փոխանցում է Raspberry Pi- ին միացված խոսնակին ՝ AUX մալուխի միջոցով:

Այս նախագիծը պարզապես հայեցակարգի ապացույց էր և ավելի լավ սարքավորումներով և պլանավորմամբ և ավելի լավ ճշգրտված `բազմաթիվ այլ ժեստեր և ձեռքի շարժումներ հայտնաբերելու համար: Ներկայումս այս նախագծում ծրագրված են միայն սահմանափակ գործառույթներ, ինչպիսիք են ժեստերի հիմնական հայտնաբերումը և տեքստից խոսքի ելքը:

Քայլ 3: Կոդ

Քայլ 4: Քայլեր

1. Միացրեք ճկուն տվիչներն ու արագաչափաչափ MMA8452Q- ն Arduino- ին `ըստ ներկայացված սխեմայի:

2. Թափել Final_Project.ino ծրագիրը (որը գտնվում է Arduino_code.zip ֆայլում) Arduino- ին:

3. Միացրեք Arduino- ն Raspberry Pi- ին USB մալուխի միջոցով: (Մալուխի տեսակը A/B):

4. Միացրեք Raspberry Pi- ն, պատճենեք Raspberry_pi_code.zip ֆայլը Raspberry Pi- ի մեջ և հանեք այն: Միացրեք բարձրախոսը Raspberry Pi- ին:

5. Պատճենեք ձեր AWS հաշվի հավատարմագրերը, այսինքն ՝ aws_access_key_id, aws_secret_access_key և aws_session_token ~/.aws/հավատարմագրերի ֆայլում: Այս քայլը պահանջվում է AWS ամպի հետ հաղորդակցվելու և AWS ծառայություններից օգտվելու համար:

6. Գործարկեք 4 -րդ քայլում արդյունահանվող թղթապանակի ներսում հայտնաբերված seria_test.py ծրագիրը:

7. Այժմ կատարեք նախադասություն կազմելու ժեստերը, այնուհետև կատարեք հատուկ ժեստը (մատները և ափը պահեք ուղիղ և ափի մեջ դեպի ձեր կողմը կանգնած գծի մեջ, այնուհետև պտտեք դաստակը ՝ ներքև շրջելով այնպես, որ այժմ ձեր ափը ձեր դեմքն է, և ձեր մատների ծայրը դեպի ներքև է ուղղված դեպի ձեր ոտքերը:) նախադասության ավարտի ազդանշան տալու համար:

8. Շարունակեք ստուգել տերմինալը օգտակար տեղեկատվության համար:

9. Եվ լսեք դարձի եկած խոսքը, որը հոսում է խոսողի վրա:

Քայլ 5: Հղումներ

1.

2.

3.

4.