STEM - Ձայնի և պատկերի վերահսկում. 13 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:51

Վերջին մի քանի տարիների ընթացքում ավելի ու ավելի հեշտ է դարձել ձայնի կամ պատկերի ճանաչմամբ ինչ -որ բան սարքելը: Երկուսն էլ մեր օրերում ավելի ու ավելի հաճախ են օգտագործվում: Եվ դրանք հանրաճանաչ թեմաներ են DIY նախագծերում: Ofամանակի մեծ մասը ստեղծվել է ծրագրակազմով/API- ով հետևյալ ընկերություններից մեկից.

• Google Voice.
• Amazon Alexa.
• Microsoft ճանաչողական ծառայություններ:

Կան նույնիսկ որոշ DIY հավաքածուներ, օրինակ ՝ Google AIY Voice Kit- ը ՝ հոբբիիստներին աջակցելու համար: Այս ապրանքներից շատերն օգտագործում են Raspberry Pi կամ նմանատիպ տախտակ: Unfortunatelyավոք, սա հարմար չէ նրանց համար, ովքեր չգիտեն, թե ինչպես վարվել ծրագրավորման լեզվով, ինչպիսին է Python- ը:

Այս հրահանգը ձայնի ճանաչման և պատկերի OCR- ի մասին է ՝ առանց ծրագրավորման լեզվի որևէ իմացության: Այնուամենայնիվ, տրամաբանական մտածողությունը մնում է որպես պահանջ: Այստեղ օգտագործվում է Makeblock Neuron արտադրանքը `զուգորդված հոսքի վրա հիմնված ծրագրավորման միջավայրի հետ:

Այս Neuron արտադրանքը մեկնարկեց որպես Kickstarter նախագիծ 2017 թվականին: Դա Էլեկտրոնային շենքերի բլոկների հարթակ է, որն օգտագործում է բոլոր տեսակի էլեկտրոնային «բլոկներ», որոնք կարող են միացվել մագնիսական միակցիչներով: Եվ հիմնականում նշանակում է որպես STEM (գիտություն, տեխնոլոգիա, ճարտարագիտություն և մաթեմատիկա) արտադրանք: Այս ապրանքը, հետևաբար, կենտրոնանում է տրամաբանական մտածողության և (սովորել) ծրագրավորման վրա:

Կան մոտ 30 տարբեր տեսակի նեյրոնային բլոկներ: Ինչպես տարբեր տեսակի հաղորդիչներ և ընդունիչներ, կոճակներ, լուսադիոդներ, տվիչներ և շարժիչներ: Բլոկների մեծ մասը շփվում են միայն միմյանց հետ: Բայց բլոկներից մեկը ՝ WiFi բլոկը, կարող է միացված լինել ինտերնետին: Սա հնարավորություն է տալիս մուտք գործել ինտերնետային ծրագրեր, ինչպիսիք են Microsoft Cognitive Services- ը:

Այս Instructable- ի առաջին քայլերը սկսվում են Neuron արտադրանքի և դրանց ծրագրավորման մասին կարճ ներածությամբ: Սա ներառում է հոսքի վրա հիմնված ծրագրավորում և առկա որոշ էլեկտրոնային բաղադրիչներ: Դրան հաջորդում են Տեսողության և Ձայնի ճանաչման որոշ օրինակներ: Եվ վերջապես մի փոքրիկ կրիա ռոբոտ: Որը հնարավոր է հեռակա կարգով կառավարել ջոյսթիկի միջոցով: Այս ռոբոտի հետ հնարավոր է օգտագործել ձայնի ճանաչումը: Այնուամենայնիվ, պետք է հաշվի առնել ձայնային հսկողության արձագանքման ժամանակները:

Բացի այդ, կան որոշ լրացուցիչ տեխնիկական տեղեկություններ: Այս քայլերը տրամադրում են հիմնական տեղեկատվություն և պատկերացում են տալիս Neuron արտադրանքի վերաբերյալ:

Գ ո ս ս ե Ա դ ե մ ա

Քայլ 1: Neuron Explorer Kit

Նեյրոնային բլոկները նման են էլեկտրոնային աղյուսների, և յուրաքանչյուր նեյրոնի գույնը ցույց է տալիս դրա հիմնական գործառույթը: Էներգետիկ և հաղորդակցության բլոկները կանաչ են. Մուտքային բլոկները դեղին են; Կառավարման բլոկները նարնջագույն են; Իսկ ելքային բլոկները կապույտ են: Յուրաքանչյուր նեյրոն ունի իր հատուկ գործառույթը, և նրանք սկսում են շփվել միմյանց հետ, երբ կապված են միմյանց հետ:

Ապրանքը սկսվեց որպես Kickstarter նախագիծ 2017 -ի ապրիլին: Եվ սա ուսանելի է օգտագործում Explorer Kit- ը: Այս հավաքածուն պարունակում է հետևյալ մասերը.

• WiFi (նեյրոն)
• Հզորություն (նեյրոն)
• Խոսափող և բարձրախոս (USB)
• Առաջնորդվող վահանակ 8x8 RGB (նեյրոն)
• Oyոյստիկ (նեյրոն)
• Knob (նեյրոն)
• Led Strip վարորդ (նեյրոն)
• Led Strip 50 սմ (15 LED)
• Երկակի DC շարժիչի վարորդ (նեյրոն)
• DC շարժիչ (2x)
• Շարժիչի բրա (2x)
• Անիվներ (2x)
• Մինի Անիվ
• Երկու սերվո շարժիչով վարորդ (նեյրոն)
• Servo Motor (2x)
• Ձայնի ճանաչում (նեյրոն)
• Ուտրասոնիկ տվիչ (նեյրոն)
• Անլար հաղորդիչ (նեյրոն)
• Անլար ընդունիչ (նեյրոն)
• Տեսախցիկ (USB)
• Լազերային ցուցիչ
• Նեյրոնային տախտակ (4x)
• Մագնիս լար 10 սմ (2x)
• Մագնիս լար 20 սմ (2x)
• Միկրո USB մալուխ 20 սմ (2x)
• Միկրո USB մալուխ 100 սմ (2x)

Այս հավաքածուն պարունակում է բոլոր էլեկտրոնային մասերը բոլոր տեսակի STEM նախագծերի համար: Թվում է, թե դրա հիմնական ուշադրության կենտրոնում փոքր ռոբոտներ պատրաստելն է: Բայց տեսախցիկը և ձայնի ճանաչումը նրան ավելի շատ հնարավորություններ են տալիս, քան պարզապես ռոբոտները:

Յուրաքանչյուր նեյրոն պարունակում է մագնիս: Եվ կարող է տեղադրվել մետաղական առարկաների կամ մատակարարվող Neuron տախտակների վրա:

Միակ մասը, որը «բացակայում է» այս Explorer Kit- ում, գծերի հետևորդների ցուցիչն է: Սա «Բոլորը մեկում» հավաքածուի մի մասն է: Այս սենսորը կլինի ավելի տրամաբանական ընտրություն ՝ LED շերտի կամ LED մատրիցի փոխարեն:

Քայլ 2: Նեյրոնային բլոկներ

Մի քանի Neuron փաթեթներ վաճառվեցին Kickstarter արշավի միջոցով: Եվ այս պահին առաջին փաթեթները հասանելի են կանոնավոր վաճառքի համար:

Կան մոտ 30 տարբեր բլոկներ, որոնք միմյանց կարող են միացվել մագնիսական միակցիչներով: Սա ստեղծում է բլոկների գիծ: Որոնք միմյանց հետ շփվում են Հավելվածի (Android, iOS) միջոցով:

Կա վերալիցքավորվող էներգաբլոկ, որը սնուցում է բոլոր միացված բլոկները: Եվ բոլոր հաղորդակցման բլոկներն ունեն միկրո USB միակցիչ, որը կարող է օգտագործվել բլոկները սնուցելու համար: Սովորաբար շղթան սկսվում է կապի բլոկից: Եվ եթե դա չի աշխատում USB- ով, հաջորդ բլոկը պետք է լինի էներգաբլոկ:

Հաղորդակցության բլոկների էներգիան ունի կանաչ գույն, և դրանք 5 -ն են.

• Ուժ.
• Անլար ընդունիչ:
• Անլար հաղորդիչ:
• WiFi
• BlueTooth.

App and Scratch ծրագիրը պահանջում է WiFi կամ BlueTooth կապ: 2 անլար բլոկները կարող են օգտագործվել կարճ հեռավորության վրա հեռակառավարվող նախագծերի համար:

Explorer Kit- ը պարունակում է երեք նարնջագույն կառավարման բլոկ:

• Բռնակ
• Ջոյստիկ:
• Ձայնի ճանաչում.

Եվ երկու դեղին տվիչ.

• Տեսախցիկ
• Ուլտրաձայնային ցուցիչ

Կառավարման և տվիչների բլոկները մուտքագրում են ձեր ծրագիրը: Կոճակը տալիս է 0 -ից մինչև 100 արժեք, և կարող է օգտագործվել որպես լուսամփոփ կամ շարժիչի արագությունը վերահսկելու համար: Joyոյստիկը տալիս է երկու արժեք ՝ -100 և 100, մեկական արժեք յուրաքանչյուր ուղղության համար: Ուլտրաձայնային տվիչը չափում է հեռավորությունը սանտիմետրերով: Ելքային արժեքը 0 -ից 400 -ի սահմաններում է:

Այս հավաքածուի հինգ կապույտ ելքային բլոկներն են.

• LED շերտի վարորդ + Led ժապավեն:
• LED վահանակ:
• DC շարժիչի վարորդ
• Servo Motor Driver
• Խոսափող և բարձրախոս

Ելքային բլոկները շատ բազմազան են: Սա թույլ է տալիս իրականացնել տարբեր տեսակի նախագծեր: Ինչպես LED լամպը, շարժվող ռոբոտը և/կամ ձայնագրիչը:

Բոլոր նեյրոնային բլոկները թվարկված են Kickstarter էջում:

Քայլ 3. Նեյրոնի ծրագրավորում

Նեյրոնային բլոկների օգտագործման մի քանի եղանակ կա:

1. Անցանց
2. Առցանց հավելվածի միջոցով:
3. Առցանց mBlock Scratch- ի հետ:

Անցանց ռեժիմն առաջարկում է տարբեր մասեր ներկայացնելու հեշտ միջոց: Սա ծրագրավորում չի պահանջում: Առցանց ծրագրավորումը կարող է իրականացվել Appրագրով (Android/iOS) կամ համակարգչային ծրագրով (mBlock 4.0): WiFi բլոկն ունի ծրագիր պահելու հնարավորություն: Այս ծրագիրը շարունակում է գործել մինչև այն չկանգնեցվի Հավելվածի կողմից:

Հավելվածն ավելի հեշտ է օգտագործել, քան mBlock 4.0 ծրագրակազմը: Եվ ոչ բոլոր նեյրոնային բլոկները ներկայումս առկա են mBlock ծրագրում:

Նեյրոնային վանդակում կան որոշ քարտերի օրինակելի նախագծեր: Դրանք կարող են համատեղվել Հավելվածի օգնությամբ և ցույց տալ տարբեր բլոկների հիմնական սկզբունքները:

Քայլ 4: Անցանց ռեժիմ

Այս ռեժիմը հիմնականում նախատեսված է արտադրանքի հետ ծանոթանալու համար, և այն չի պահանջում որևէ ծրագրավորում:

Ելքային բլոկի յուրաքանչյուր սենսոր ունակ է ելք ապահովել աջ կողմում ամրացված բլոկներին: Եվ ցուցադրման յուրաքանչյուր բլոկ կարող է մուտքային ազդանշաններ ստանալ ձախից; Տալիս է իր ելքը; Եվ մուտքային ազդանշանը փոխանցում է աջին միացված լրացուցիչ բլոկներին:

Դրանով անցանց շղթան միշտ պարունակում է բազմաթիվ բլոկներ ՝ հաստատուն կարգով. Կանաչ էներգիայի բլոկ; Դեղին կամ նարնջագույն (մուտքի կամ կառավարման) բլոկ; Եվ մեկ կամ ավելի կապույտ ելքային բլոկներ: Եվ այս անցանց ռեժիմը գործում է միայն ձախից աջ (ընթերցվող տառերով):

Մուտքային կամ կառավարման բլոկը վերահսկում է բոլոր հետևյալ ելքային բլոկները: Իսկ ելքը կախված է մուտքային բլոկի տեսակից: Օրինակ ՝ Բռնակը գործում է լուսամփոփի պես, երբ միացված է LED մատրիցային: Իսկ ջոյսթիկը ցույց է տալիս LED մատրիցի ուղղությունը: Ներածման բազմաթիվ բլոկներից ազդանշանները չեն կարող համակցվել անցանց ռեժիմում: Միայն վերջին բլոկի ազդանշանը փոխանցվում է ելքային բլոկներին:

Մուտքային և (կամ) կառավարման բլոկների համատեղումը պահանջում է առցանց (ծրագրավորման) ռեժիմ:

Քայլ 5: Հոսքի վրա հիմնված ծրագրավորում

Երբ նեյրոնային բլոկները միացված են պլանշետին (iPad), դրանք ինքնաբերաբար ակտիվանում են Առցանց ռեժիմում: Այժմ բոլոր միացված բլոկները կարող են օգտագործվել միմյանց հետ փոխազդելու համար: Մինչ ծրագրի միջավայրը ավելացնում է տրամաբանություն և մաթեմատիկական գործողություններ:

Նեյրոնային բլոկների ծրագրավորման վերաբերյալ փաստաթղթերը հասանելի են Makeblock կայքում: Կա նաև ֆորում, որը տալիս է շատ տեղեկատվություն: Քանի որ այս ապրանքը բավականին նոր է, Makeblock կայքում կան կանոնավոր թարմացումներ և լրացումներ փաստաթղթերում:

Neuron հավելվածը օգտագործում է հոսքի վրա հիմնված ծրագրավորում: Բացի նեյրոնային բլոկներից, որոնք տալիս են ելքային արժեքներ կամ պահանջում են մուտքային արժեքներ, կան բոլոր տեսակի ծրագրավորման տարբեր հանգույցներ: Սրանք բաժանված են մի քանի ոլորտների և տեղադրված են tabրագրի ներսում տարբեր ներդիրների վրա: Լռելյայն, կա 4 ներդիր.

• Հիմնական
• Կառավարում
• Ժամանակը
• Ընդլայնված

Այս ծրագրավորման հանգույցները կարող են օգտագործվել առանց նեյրոնային բլոկների:

Makeblock առցանց փաստաթղթերը ցույց են տալիս Հավելվածի ինտերֆեյսի հնարավորությունները:

Տրամաբանություն և մաթեմատիկա

Սրանք հիմնական գործառույթներն են: Եվ ունեն մեկ կամ երկու մուտք և մեկ ելքային արժեք: Կան մի քանի պարզ հաշվարկներ և համեմատություններ:

Անջատիչ գործառույթը փոխում է իր վիճակը ամեն անգամ, երբ ստանում է «Y»:

Թվեր

Կան երկու թվային հանգույց ՝ մեկ «հիմնական» և մեկ «վերահսկիչ» տարբերակ (դրանք գտնվում են տարբեր ներդիրներում): Կառավարիչների տարբերակը ֆիքսված թիվ է, մինչդեռ հիմնական թիվը ունի «միացված» և «անջատված» վիճակ: Հետևյալ օրինակը ցույց է տալիս տարբերությունը: Ընդմիջումը միանում է ('Y') և անջատում ('N') յուրաքանչյուր վայրկյան: Կանաչ թվի ելքը 5 է, երբ մուտքը 'Y' է, հակառակ դեպքում արժեքը 0 է:

Կոր հանգույցը ցույց է տալիս գրաֆիկ: Դա օգտակար է տարբեր ելքային արժեքներ ցույց տալու համար: Այլ օգտակար ցուցանիշներ են պիտակը և ցուցիչի հանգույցը:

Հերթականություն

Հերթականությունը կրկնվում է կամ միայն մեկ անգամ, երբ մուտքը «Y» է: Սա թույլ է տալիս հաջորդականություն տալ գործողություններին:

Հերթականությունը ազդանշան է ստանում, երբ անջատիչը միացված է: Հաջորդականության ելքը փոխանցվում է ցուցիչին:

Նշեք տողերի գույնը. Կապույտ գծերը ցույց են տալիս ընթացիկ հոսքը: Իսկ հանգույցից աջ գտնվող շրջանակը միշտ ցույց է տալիս ընթացիկ ելքը:

Մասշտաբ

Սանդղակի հանգույցը մուտքի տիրույթը թարգմանում է ելքային տիրույթի: Օրինակ ՝ 0 -ից 100 -ը կարող է թարգմանվել 0 -ից 255 -ի միջև:

Մուտքային տիրույթի առավելագույնից բարձր արժեքները հանգեցնում են առավելագույն ելքային սանդղակից բարձր արժեքի: Theտիչը կարող է օգտագործվել արժեքը սահմանափակելու համար:

Փական

Սա հանգույց է, որն անցնում է մուտքի ստորին արժեքը, եթե վերին մուտքի արժեքը ճշմարիտ է: Սա լավագույնս բացատրվում է օրինակով.

Կանաչ միջակայքի հանգույցը փոխվում է 0 -ի և 1 -ի միջև յուրաքանչյուր կես վայրկյան: Այս հանգույցի ելքը visilbe է վերին գրաֆիկի վրա: Մանուշակագույն զարկերակային հանգույցը տալիս է սինուսային ելք `-255 -ից 255 -ի սահմաններում: Սա ցուցադրված է ստորին գրաֆիկում:

Ե՛վ ընդմիջումը, և՛ սինուսը մուտքագրվում են փականի հանգույցի համար: Իսկ ելքային արժեքը 0 է, երբ միջակայքի արժեքը 'N' է: Երբ միջակայքի արժեքը «Y» է, ելքային արժեքը հավասար է սինուսի մուտքի արժեքին: Սա տալիս է միջին գրաֆիկը:

Քայլ 6: Հոսքի օրինակ

Հոսքի ծրագրավորումը ցույց տալու լավագույն միջոցը օրինակն է: Այս օրինակը չի օգտագործում նեյրոնային բլոկներ: Եվ բոլորը կարող են դա ծրագրավորել ծրագիրը ներբեռնելուց հետո: Բացեք ծածկագրերի միջավայրը և ստեղծեք նոր ծրագիր: Ընտրեք '(X)', երբ կապ խնդրեք և սկսեք ծրագրավորումը:

Պարզապես քաշեք անհրաժեշտ հանգույցները ծրագրի տարածք և միացրեք տողերը: Կտտացրեք de nodes- ին ՝ հնարավորությունները տեսնելու և արժեքները/պարամետրերը փոխելու համար:

Կոճակների ելքը լռելյայն «N» է: Կոճակը սեղմելը ելք է տալիս «Y» - ին: Այս ելքը փոխանցվում է պատահական թվերի գեներատորին: Սա առաջացնում է նոր թիվ (beteen 0 և 100) ամեն անգամ, երբ մուտքն ունի «Y» արժեքը և ելքը փոխանցում է հաջորդ հանգույցին (ներին):

Համեմատման հանգույցները պահանջում են 2 մուտք և պայմանը բավարարելու դեպքում վերադարձնում են «Y» արժեքը: Վերին համեմատական հանգույցը ստուգում է, թե արդյոք A պորտի արժեքն ավելի մեծ է, քան B պորտի արժեքը: Եթե դա ճիշտ է, լամպը կանաչում է: Ներկայումս ներքևի լամպը կանաչ է, քանի որ 21 -ը 23 -ից ցածր է:

Այս ձևով ծրագրավորումը որոշակի պրակտիկա է պահանջում: Մեծ առավելությունն այն է, որ պետք չէ մտածել կոդի շարահյուսության մասին: Եվ յուրաքանչյուր հանգույց ցուցադրում է իր ելքային արժեքը: Բացի այդ, կապույտ գծերը ներկայացնում են տվյալների հոսքը:

Քայլ 7: Պատկերի վերահսկում

Կան երկու նեյրոնային բլոկներ, որոնք կարող են կցվել WiFi բլոկին USB մալուխի միջոցով `տեսախցիկը և խոսափողը/բարձրախոսը: Երկու սարքերը սովորական USB սարքեր են և կարող են միացվել համակարգչին: Տեսախցիկը պահանջում է լրացուցիչ վարորդներ, սակայն բարձրախոսն աշխատում է որպես սովորական USB բարձրախոս:

Cameraրագրի ներսում հայտնվում է տեսախցիկի ներդիր և պատկերակ, երբ տեսախցիկը կցվում է WiFi բլոկին: Պատկերակը բացում է տեսախցիկի պատկերով նախադիտման պատուհան:

Տեսախցիկի ներդիրի ներսում կա լուսանկար/տեսախցիկի հանգույց: Սա նկարում է, երբ կա մուտքային ազդանշան 'Y' արժեքով (ճշմարիտ): Այս հանգույցը ծրագրի տարածքում տեղադրելուց հետո այն ունի երեք տարբերակ (կտտացրեք հանգույցի վրա).

• Լուսանկարի շրջանակ
• OCR
• Emգացմունքների թեստ

Լուսանկարների շրջանակը ցույց է տալիս լուսանկարի հանգույցի ելքը: Հաջորդ երեք հանգույցները ապահովում են «ֆոտոխցիկ»: Տեսախցիկը լուսանկարում է, երբ սեղմվում է կոճակը (սա «Y» է տալիս որպես ելք): Եվ սա ցուցադրվում է լուսանկարների շրջանակի ներսում: Պատկերը պահվում է WiFi բլոկի ներսում, բայց վերաշարադրվում է, երբ նոր լուսանկար է արվում:

Հնարավոր է օգտագործել ժամաչափը տեսախցիկ մուտքագրելու համար, սակայն միջակայքը շատ կարճ մի դարձրեք (> 1 վայրկյան): Այլապես WiFi բլոկը չի կարող կարգավորել տվյալները, և որոշ ժամանակ կախված է:

OCR հանգույցը պատկերները թարգմանում է տեքստ: Սա օգտագործում է Microsoft- ի ճանաչողական ծառայությունները: WiFi բլոկը պետք է միացված լինի ինտերնետին, իսկ հավելվածը ՝ WiFi բլոկին:

Հաջորդ ծրագիրը նկարում է, երբ կոճակը սեղմվում է: Այս լուսանկարը ցուցադրվում և մշակվում է OCR հանգույցի կողմից: Արդյունքը համեմատվում է տեքստի համեմատման երեք հանգույցների հետ: Սրանք ստուգում են «մեկ», «երկու» և «երեք» արժեքները: Եվ յուրաքանչյուր արժեք ցույց է տալիս այլ պատկեր LED վահանակի վրա: OCR հանգույցի ելքը ցուցադրվում է նաև «պիտակ» հանգույցով: Սա ցույց է տալիս «Ոչ» (Կեղծ), երբ ոչինչ չի ճանաչվում:

Կապույտ գծերը ցույց են տալիս տվյալների հոսքը ծրագրի ներսում: Եվ «Y» և «N» յուրաքանչյուր հանգույցից հետո ներկայացնում է իր ելքային արժեքը: Սա հեշտացնում է ծրագրի ներսում խնդիրների լուծումը: Unfortunatelyավոք, LED մատրիցի ելքը displayedրագրում չի ցուցադրվում:

Տեսախցիկի հանգույցի վերջնական տարբերակն էմոցիոնների թեստն է: Սա կերպարի դեմքերը վերածում է զգացմունքի:

Վերոնշյալ օրինակները պարզ են, բայց դրանք ցույց են տալիս հիմնական սկզբունքը: Ավելի բարդ ծրագրեր ստեղծելու համար կարող են ավելացվել լրացուցիչ տրամաբանություն և նեյրոնային բլոկներ

Քայլ 8: Ձայնի ճանաչում (խոսափող)

Բացի տեսախցիկից, խոսափողը / խոսափողը Neuron- ը կարող է միացվել WiFi բլոկին: Սա կարող է օգտագործվել ձայնային հատվածներ ձայնագրելու և նվագարկելու համար: Այս նեյրոնի միացումը հավելվածում տալիս է լրացուցիչ «ձայնային» ներդիր:

Ձայնագրման հանգույցը ձայնը ձայնագրելու է միայն այն դեպքում, եթե մուտքագրումը «Y» է, դրա համար անհրաժեշտ է կոճակ կամ անջատիչ: Ձայնագրված հատվածը ձայնագրման հանգույցի ելքն է: «Ձայնի նվագարկման» հանգույցի ավելացումն անմիջապես նվագում է այս ելքը: Սա կարող է օգտագործվել թութակ պատրաստելու համար.

Խոսափողի հանգույցի վրա սեղմելը տալիս է 2 տարբերակ ՝ «ձայնը տեքստին» և «ձայնագրությունը պահպանել»:

«Պահել գրառումը» հանգույցը պահպանում է WiFi բլոկի ներսում գտնվող ֆայլային համակարգի աուդիո ֆայլը: Այս ֆայլը վերաշարադրվում է ամեն անգամ, երբ նոր ձայնագրություն է սկսվում:

«Նվագարկել ձայն» հանգույցը կարող է նվագարկել մուտքային աուդիո, բայց հնարավոր է նաև ձայնային էֆեկտ կամ ձայնագրված ֆայլ ընտրել: Այն պահանջում է մուտքագրման ձգան `տրված ձայնը սկսելու համար: Եվ այն անմիջապես դադարում է, երբ մուտքը 'N' է (կեղծ): Հետևյալ օրինակը մի տեսակ դիկտաֆոն է: Վերին կոճակը կատարում է ձայնագրություն, իսկ ներքևի կոճակը նվագարկում է այս ձայնագրությունը:

Խոսափողի հանգույցի ձայնից դեպի տեքստ տարբերակը օգտագործում է Microsoft ճանաչողական ծառայությունները `ձայնագրությունը տեքստ թարգմանելու համար: Պիտակի հանգույցն ունակ է ցուցադրել ելքը: Ձայնը ձայնագրելու և նվագարկելու համար պարտադիր չէ ձայնը տեքստ թարգմանելու համար: Բայց դրանք օգտակար են ծրագրավորման ընթացքում ՝ ելքը ստուգելու համար:

Այս գործառույթի կարգաբերումը կարող է կատարվել `մուտք գործելով WiFi բլոկ (առաջադեմ գործառույթ):

[2018-01-19 23:00:35] [ARԳՈARՇԱՈՄ] Պահանջների մշակողի 'ձայնային սերվեր' կոչվում էր.

Հնարավոր է ստուգել բազմաթիվ բառեր: Իսկ համեմատման հանգույցն աշխատում է այնպես, ինչպես տեսախցիկի OCR- ն:

Երբեմն նույն բառը տարբեր ելքեր է տալիս: Օրինակ ՝ «հրաժեշտ» -ը կարող է տալ հետևյալ արժեքներից մեկը ՝ «ցտեսություն» կամ «ցտեսություն»: Սա պահանջում է միևնույն ելքով տեքստային բազմաթիվ հանգույցներ.

Նշում. Տեքստի լեզվի կանխադրված խոսքը անգլերենն է:

Քայլ 9: Ձայնի ճանաչում (նեյրոն)

Սա նվիրված նեյրոն է ՝ ձայնը տեքստ դարձնելու համար: Այն ընդունում է 22 հրաման, որոնք կոդավորված են բլոկի ներսում և Նեյրոնի ծածկագիրը.

var COMMAND = {'Միացրեք լույսը': 3, «Կարմիր» ՝ 4, «Կապույտ դառնալ» ՝ 5, «Կանաչ դառնալ» ՝ 6, «Սպիտակեցրու» ՝ 7, «Ավելի լույս» ՝ 8, «Ավելի քիչ լույս» ՝ 9, «Լույսեր անջատված են» ՝ 10, «Շարժիչ առաջ» ՝ 11, «Շարժիչ հետընթաց» ՝ 12, «Արագացրու» ՝ 13, «Արագընթաց ՝ 14», «Սեր» ՝ 15, «ileպտա» ՝ 16, «ryայրացած» ՝ 17, «Տխուր» ՝ 18, «Ռոքնռոլ» ՝ 19, «Կրակ կրակ» ՝ 20, «Խաղի սկիզբ» ՝ 21, «Ձմեռը մոտենում է» ՝ 22, «Սկիզբ» ՝ 23, «Անջատիր» ՝ 24};

Այս բլոկն ընդունում է միայն անգլերենը: Եվ դա պահանջում է ճիշտ արտասանություն: Սխալների համար շատ տեղ չկա: Եվ նույնիսկ google voice translate ձայնային ելքը միշտ չէ, որ ակտիվացնում է համապատասխան հրամանը: Բայց Google- ի խոսքի օգտագործումը մնում է լավ ելակետ: Սկսեք «Hello Makeblock», «Hello Makeblok» և/կամ «Helo makeblok» բառերով: Դրան հաջորդում է «ձմեռը մոտենում է» կամ «կանաչում»:

Այս քայլին այս հրամանները օգտագործվել են առաջին պատկերի ծածկագրում: Վերին ձայնային հրամանի հանգույցի աջ կողմում գտնվող ցուցիչը «Y» է (ճշմարիտ): Սա ցույց է տալիս, որ հրամանը ճանաչվել է:

Այս նեյրոնի հետ աշխատելը որոշակի պրակտիկա է պահանջում: Բարեբախտաբար, բլոկը կրկնում է հաղորդագրությունը մեկը ստանալուց հետո (Այն պարունակում է բարձրախոս և խոսափող):

Քայլ 10. Հեռակառավարվող LEGO կրիա

Neuron Explorer Kit- ը պարունակում է 2 DC շարժիչ և 2 servo շարժիչ: Սա պահանջում է ռոբոտ `երեք անիվի կրիա: Այն օգտագործում է շարժիչի շարժիչներն ու անիվները LEGO- ի որոշ մասերով, որպես շրջանակ:

Այս շրջանակի վերևում ամրացված են 8 ճառագայթներ, շրջանաձև եղանակով: Այս ճառագայթները աջակցում են LED շերտին: Երեք մագնիսական նեյրոնային տախտակներ տեղադրված են 8 ճառագայթների վերևում: Սրանք պահում են նեյրոնի հետևյալ մասերը.

• Անլար ընդունիչ
• Ուժ
• 10 սմ մալուխ
• Servo շարժիչի վարորդ
• DC շարժիչի վարորդ
• LED շերտի վարորդ
• 10 սմ մալուխ

Վերջնական 10 սմ մալուխը կցվում է ուլտրաձայնային տվիչին, որը տեղադրված է կրիայի գլխին: Այս գլուխը բաղկացած է չորրորդ մագնիսական նեյրոնային տախտակից: Ի վերջո, պոչը բաղկացած է servo շարժիչից, որի վրա ամրացված է լեգո ճառագայթ:

Արդյունքը միայն «լարերի և էլեկտրոնիկայի» տեսք ունի, բայց կրիայի վահանը ծածկում է գրեթե բոլոր էլեկտրոնիկան:

Ռոբոտը կարող է կառավարվել ջոյսթիքով: Սա պահանջում է WiFi (կամ Bluetooth) բլոկ, Joystick և անլար հաղորդիչ: Հեռակառավարիչը պահանջում է USB էներգիայի աղբյուր: Առկա է միայն մեկ էներգաբլոկ, որը գտնվում է ռոբոտի ներսում:

Առաջին պատկերը ցույց է տալիս այս ռոբոտի հնարավոր ծրագիրը: Joyոյստիկը միացված է DC շարժիչի բլոկին: Վերև/վար արագության համար և ձախ/աջ ՝ ուղղության համար:

Ուլտրաձայնային տվիչի ելքը համեմատվում է 100 սմ արժեքի հետ: Եթե հեռավորությունն ավելի մեծ է, ապա կանաչ/դեղին գույնը ցուցադրվում է բոլոր LED- ների վրա: Գույները դառնում են կարմիր/նարնջագույն, երբ հեռավորությունը 100 սմ -ից ցածր է:

Պոչը օգտագործում է իմպուլսային հանգույց -180 -ից 180 -ի սահմաններում: ABS գործառույթը բացասական արժեքը դարձնում է դրական: Այս արժեքը փոխանցվում է servo շարժիչին, և պոչը սկսում է շարժվել:

Նեյրոնների բլոկների և գործառական հանգույցների համատեղմամբ հնարավոր է գրել ավելի բարդ ծրագրեր: Պոչի արագությունը կարող է կախված լինել ռոբոտի արագությունից կամ ռոբոտը կարող է կանգ առնել, եթե ուլտրաձայնային սենսորը չափում է 30 սմ -ից պակաս:

Քայլ 11: Կրիա 2.0

Նախորդ LEGO կրիան կարող է պարզեցվել ՝ օգտագործելով ստվարաթուղթ/փայտ: Ես օգտագործել եմ 8 մմ նրբատախտակի կտոր: Օգտագործեք ոլորահատ սղոց ՝ 19 սմ տրամագծով շրջան ստեղծելու համար: Բոլոր անցքերը փորեք 4, 8 մմ տրամագծով: Քառակուսի բացվածքներ ստեղծելու համար օգտագործեք փորվածքն ու ոլորահատ սղոցը: Սրանք անիվների և լարերի համար են:

Ես օգտագործել եմ LEGO- ի մասերը `նեյրոնային մասերը փայտե ափսեին ամրացնելու համար: Explorer Kit- ի ներսում կան որոշ համատեղելի միակցիչներ: Բայց հնարավոր է նաև օգտագործել m4 պտուտակներ միացումների մեծ մասի համար:

Երկու DC շարժիչներ (անիվներով) ամրացված են ներքևին (մուգ կարմիր քառակուսիներ): Theիշտ այնպես, ինչպես հետևի անիվը (սև ուղղանկյուն): Սալիկի և հետևի անիվի միջև լրացուցիչ հեռավորության համար օգտագործվում է LEGO տեխնիկական ճառագայթ: Երեք մանուշակագույն քառակուսիները նախատեսված են մագնիսական նեյրոնային տախտակների համար: Չորրորդ մագնիսական նեյրոնային տախտակն օգտագործվում է գլխի/ուլտրաձայնային տվիչի համար (նարնջագույն ուղղանկյուն): Կարմիր շրջանակը ցույց է տալիս LED շերտի գտնվելու վայրը: LED շերտը ամրացնելու համար օգտագործեք փոքր ռետինե ժապավեններ (ջուլհակներ):

Այս ռոբոտը աշխատում է նույն կոդով, ինչ LEGO կրիան:

Քայլ 12: Ներքին ծրագրակազմ

Նեյրոնային բլոկների ծրագրավորումը հեշտ է, որևէ կոդ գրելու կարիք չկա: Հետևյալ տեղեկատվությունը միայն առաջադեմ օգտագործողի համար է: Այն որոշակի պատկերացում է տալիս Neuron արտադրանքի շահագործման վերաբերյալ:

Makeblock Github էջը պարունակում է Neuron կոդ: Կարող եք ներբեռնել և ուսումնասիրել ծածկագիրը: Այն գրված է Javascript- ում և օգտագործում է nodeJS:

WiFi բլոկը պետք է միացված լինի ինտերնետին: Երբ ծրագիրը միանում է WiFi բլոկի SID- ին, այն ստանում է IP հասցե WiFi բլոկից: WiFi բլոկներն այժմ գործում են որպես դարպաս:

WiFi բլոկի IP հասցեն 192.168.100.1 է: 80 -րդ նավահանգստում գործում է վեբ սերվեր, որը ցույց է տալիս կազմաձևման ինտերֆեյս (գաղտնաբառ = makeblock): Սա թույլ է տալիս փոխել տարբեր պարամետրեր և ընտրանքներ:

Կարող եք փոխել ժամային գոտին և/կամ WiFi SSID- ը: Բայց զգույշ եղեք, մնացած պարամետրերի վերաբերյալ քիչ փաստաթղթեր կան:

Servicesառայություններ/ցանցի բաժնետոմսեր ներդիրը ցույց է տալիս ցանցի բոլոր բաժնետոմսերը: Ես լրացուցիչ կիսում եմ «Սերվեր» «/tmp/run/mountd/mmcblk0p1/neurons-server» թղթապանակին: Այս թղթապանակը (և ենթապանակները) պարունակում են բոլոր տեղեկամատյանային, ձայնային և պատկերային ֆայլերը:

Սա հնարավորություն է տալիս թերթել բոլոր ֆայլերը Windows ֆայլերի հետազոտողի միջոցով: «\ 192.168.100.1 / Server» բաժնի բացումը թույլ է տալիս ընթերցման հասանելիություն ստանալ Neuron շարժիչի բոլոր ֆայլերին: Ներառյալ սերվերի մատյան ֆայլը.

Սարքի uuid: 6A1BC6-AFA-B4B-C1C-FED62004

փորձիր mqtt.connect- ը միացված iot ամպին լավ… [2018-01-19 22:56:43] [WARN] serverLog-Պահանջեք կառավարիչ 'ձայնային սերվեր' ՝ {"startRecord"} [2018-01-19 22:56:43] [WARN] serverLog-սկսել ձայնագրությունը [2018-01-19 22:56:45] [WARN] serverLog-Պահանջել կառավարիչ 'ձայնային սերվեր' ՝ {"stopRecord"} [2018-01-19 22:56:45] [WARN] serverLog - դադարեցնել գրառումը [2018-01-19 22:56:46] [WARN] serverLog - Պահանջել կառավարիչ 'ձայնային սերվեր' ՝ {"speakerRecognize"} հարցում Խոսքի արդյունք. Բարև

Config.js ֆայլը պարունակում է բոլոր կարգավորումները: Սա ներառում է Microsoft Keys- ը և ներկայիս գրանցամատյանը: Դրանք կարող են փոփոխվել, բայց միշտ պահել բնօրինակի պատճենը:

Կանխադրված տեղեկամատյանի մակարդակը «ARԳՈՇԱՈՄ» է: Անհրաժեշտության դեպքում սա կարող է փոփոխվել.

* `loglevel`: սահմանելու համար նախատեսված loglevel- ը չի տպի տեղեկամատյանը, որի առաջնահերթությունը սահմանվածից ցածր է:

*ներկայումս աջակցում է loglevel*** TRACE **,*** DEBUG **,*** INFO **,*** WARN **,*** ERROR **,*** FATAL **

Ես կազմել եմ ցանցի միայն կարդալու հնարավորություն: Կարդալու-գրելու համօգտագործումը հնարավոր է դարձնում պատկերների-j.webp

Կա նաև ssh սերվեր, որն աշխատում է 22 -րդ նավահանգստում: Սա հնարավոր է դարձնում մուտք գործել Linux պատյան: Օգտագործեք Putty ՝ 192.168.100.1 -ին միանալու համար և մուտք գործեք արմատային օգտվողի և գաղտնաբառի արգելափակման միջոցով: Բայց շատ զգույշ եղիր:

WiFi բլոկներն աշխատում են OpenWrt- ով: Սա Linux բաշխում է ներդրված սարքերի համար: Neuron ծրագիրը գտնվում է «/tmp/run/mountd/mmcblk0p1/neurons-server» գրացուցակում:

Հնարավոր է ծրագրավորել Neuron բլոկների մեծ մասը mBlock ծրագրակազմով: Սա պահանջում է ծրագրակազմի 4.0.4 տարբերակ: Microsoft- ի ծառայությունները հասանելի չեն այս քերծված տարբերակում: Ձայնի ճանաչման Neuron- ը, որը չի պահանջում այս ծառայությունները, կարող է օգտագործվել: MBlock 5 -րդ տարբերակը այս պահին չի աջակցում նեյրոնային բլոկներին (հունվար 2018):

Neuron կոդի բլոկները հասանելի են Robots (կապույտ) մասում: Իսկ mBlock ծրագրաշարը առավելություն ունի, որ ոչ միայն միացված բլոկները կարող են օգտագործվել: Անիմաստ է օգտագործել այն բլոկները, որոնք դուք չունեք, բայց դա հնարավորություն է տալիս գրել կոդը ՝ առանց միացված նեյրոնային բլոկների:

Լռելյայն գաղտնաբառը պետք է փոխվի, երբ Neuron- ը օգտագործվում է բաց WiFi ցանցում:

Քայլ 13: Սարքավորումների ներքին սարքավորում

Այս ապարատային տեղեկատվությունը միայն նախնական տեղեկատվության համար է: Այն չի հաստատվել Makeblock- ի կողմից:

Makeblock- ի արտադրանքի սարքավորումների մեծ մասը լավ փաստաթղթավորված է: Բայց Neuron արտադրանքի մասին շատ ապարատային տեղեկատվություն չկա: Կան որոշ պատկերներ Kickstarter- ում, բայց դա ցույց է տալիս նախատիպի ներքին տեսքը: Այս մեկն ունի միայն մեկ USB միակցիչ, իսկ իրական արտադրանքը `երկու USB միակցիչ:

WiFi բլոկի ներսում գտնվող վեբ սերվերը բացահայտում է այս բլոկի համար օգտագործվող իրական սարքավորումները: Դա MediaTek LinkIt Smart 7688 է: Այս տախտակի հիմնական առանձնահատկություններն են.

• Գործում է OpenWrt Linux- ը և աջակցում է ծրագրերի մշակմանը Python, Node.js և մայրենի C ծրագրավորման լեզուներով:
• Օգտագործում է MT7688AN- ը որպես ինքնուրույն պրոցեսոր և աջակցում է շահագործման երկու ռեժիմ ՝ IoT դարպաս և IoT սարքի ռեժիմ
• Աջակցում է Wi-Fi, USB հոսթ և SD քարտերին:
• Տեղադրեք PWM, I2C, SPI, UART, Ethernet և I2S համակարգերը:
• Աջակցում է մինչև 256 ՄԲ RAM ՝ լրացուցիչ SD քարտի պահեստավորման միջոցով:

Linux ֆայլային համակարգերը ցույց են տալիս ներքին սկավառակի պահեստը.

root@makeblock_linkit: ~# df -h

Ֆայլերի համակարգի չափսեր Օգտագործված մատչելի Օգտագործում% Տեղադրված է rootfs 17.9M 644.0K 17.3M 4% / /dev /root 12.8M 12.8M 0 100% /rom tmpfs 61.7M 812.0K 60.9M 1% /tmp /dev /mtdblock6 17.9M 644.0K 17,3 Մ 4%/համընկնող ծածկույթներ/

Բլոկի ներսում կա սկավառակի ծավալը mmcblk01 անունով: Այս անունը հիմնականում օգտագործվում է հիշողության քարտերի համար: Կարծես թե ներսում կա 2 Գբայթ SD քարտ (1.7 Գբայթ + 256 Մբայթ LinkIt 7688 -ի համար):

Պոգոյի կապում կա 4 միակցիչ ՝ մեկը VCC- ի համար, մեկը գետնի համար և երկուսը հաղորդակցության համար: Նեյրոնային բլոկները հավանաբար շփվում են I2c արձանագրության հետ: Յուրաքանչյուր նեյրոնի ներսում պետք է լինի Arduino- ի հետ համատեղելի տախտակ: