Տեսողության խնդիրներ ունեցողներին օգնելու համար Sonar- ի, Lidar- ի և համակարգչային տեսողության օգտագործումը միկրոկոնտրոլերների վրա. 16 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:48

Ես ուզում եմ ստեղծել խելացի «ձեռնափայտ», որը կարող է օգնել տեսողության խնդիրներ ունեցող մարդկանց շատ ավելի, քան առկա լուծումները: Ձողիկը կկարողանա օգտվողին ծանուցել առջևի կամ կողքի առարկաների մասին ՝ աղմուկ բարձրացնելով շրջապատող ձայնային ականջակալներում: Գավազանը կունենա նաև փոքր տեսախցիկ և LIDAR (Լույսի հայտնաբերում և ընդգրկում), որպեսզի կարողանա ճանաչել սենյակում գտնվող իրերն ու մարդկանց և ականջակալների միջոցով տեղեկացնել օգտվողին: Անվտանգության նկատառումներից ելնելով, ականջակալները չեն արգելափակի ամբողջ աղմուկը, քանի որ կլինի միկրոֆոն, որը կարող է զտել բոլոր անհարկի ձայները և պահել մեքենայի եղջյուրներն ու մարդկանց խոսելը: Վերջապես համակարգը կունենա GPS, որպեսզի կարողանա ուղղություններ տալ և ցույց տալ օգտվողին, թե ուր գնալ:

Խնդրում եմ քվեարկեք իմ օգտին Microcontroller և Outdoor Fitness մրցույթներում:

Քայլ 1: Նախագծի ակնարկ

Համաձայն կույրերի համաշխարհային հասանելիության ՝ ֆիզիկական շարժումը կույր մարդկանց համար ամենամեծ մարտահրավերներից է: Մարդաշատ փողոցով ճանապարհորդելը կամ պարզապես քայլելը կարող է շատ դժվար լինել: Ավանդաբար միակ լուծումը սովորական «սպիտակ ձեռնափայտի» օգտագործումն էր, որն առաջին հերթին օգտագործվում է շրջապատը սկանավորելու համար ՝ հարվածելով օգտագործողի մերձակայքում առկա խոչընդոտներին: Ավելի լավ լուծում կլինի այն սարքը, որը կարող է փոխարինել տեսող օգնականին ՝ տեղեկություններ տրամադրելով խոչընդոտների գտնվելու վայրի մասին, որպեսզի կույրը դուրս գա անհայտ միջավայրում և իրեն ապահով զգա: Այս նախագծի ընթացքում մշակվել է մարտկոցով աշխատող մի փոքրիկ սարք, որը համապատասխանում է այս չափանիշներին: Սարքը կարող է հայտնաբերել օբյեկտի չափը և գտնվելու վայրը սենսորների միջոցով, որոնք չափում են օբյեկտի դիրքն օգտագործողի նկատմամբ, փոխանցում այդ տեղեկատվությունը միկրոկոնտրոլերի վրա, այնուհետև այն վերածում ձայնի ՝ օգտվողին տեղեկատվություն տրամադրելու համար: Սարքը ստեղծվել է առկա առևտրային LIDAR (Լույսի հայտնաբերում և դասակարգում), SONAR (Ձայնի նավարկություն և ռանգինգ) և համակարգչային տեսողության տեխնոլոգիաների միջոցով, որոնք կապված են միկրոկառավարիչների հետ և ծրագրված են ապահովել լսելի տեղեկատվության պահանջվող ելքը ականջակալների կամ ականջակալների միջոցով: Հայտնաբերման տեխնոլոգիան ներդրված էր «սպիտակ ձեռնափայտի» ներսում ՝ մյուսներին օգտագործողի վիճակը ցույց տալու և լրացուցիչ անվտանգություն ապահովելու համար:

Քայլ 2. Նախապատմական հետազոտություն

2017 թվականին Առողջապահության համաշխարհային կազմակերպությունը հաղորդեց, որ աշխարհում կա 285 միլիոն տեսողության խնդիրներ ունեցող մարդ, որից 39 միլիոնը լիովին կույր են: Մարդկանց մեծամասնությունը չի մտածում այն խնդիրների մասին, որոնց հետ ամեն օր բախվում են տեսողության խնդիրներ ունեցող մարդիկ: Համաձայն կույրերի համաշխարհային հասանելիության ՝ ֆիզիկական շարժումը կույր մարդկանց համար ամենամեծ մարտահրավերներից է: Մարդաշատ փողոցով ճանապարհորդելը կամ պարզապես քայլելը կարող է շատ դժվար լինել: Դրա պատճառով տեսողության խնդիրներ ունեցող շատ մարդիկ նախընտրում են տեսող ընկեր կամ ընտանիքի անդամ բերել նոր միջավայրերում նավարկելու համար: Ավանդաբար միակ լուծումը սովորական «սպիտակ ձեռնափայտի» օգտագործումն էր, որն առաջին հերթին օգտագործվում է շրջապատը սկանավորելու համար ՝ հարվածելով օգտագործողի մերձակայքում առկա խոչընդոտներին: Ավելի լավ լուծում կլինի այն սարքը, որը կարող է փոխարինել տեսող օգնականին ՝ տեղեկություններ տրամադրելով խոչընդոտների գտնվելու վայրի մասին, որպեսզի կույրը դուրս գա անհայտ միջավայրում և իրեն ապահով զգա: NavCog- ը, որը համագործակցում է IBM- ի և Կարնեգի Մելոնի համալսարանի միջև, փորձել է լուծել խնդիրը ՝ ստեղծելով համակարգ, որն օգտագործում է Bluetooth լուսարձակներ և սմարթֆոններ ՝ ուղեցույցը օգնելու համար: Այնուամենայնիվ, լուծումը ծանր էր և ապացուցեց, որ շատ ծախսատար է լայնածավալ իրականացման համար: Իմ լուծումը դրան անդրադառնում է ՝ վերացնելով արտաքին սարքերի կարիքը և օգտագործելով ձայնը ՝ օգտվողին ուղղորդելու համար ամբողջ օրը (Նկար 3): «Սպիտակ ձեռնափայտի» մեջ ներդրված տեխնոլոգիայի առավելությունն այն է, որ այն ազդարարում է մնացած աշխարհի օգտագործողի վիճակի մասին, ինչը փոփոխություններ է առաջացնում շրջապատող մարդկանց վարքագծում:

Քայլ 3: Դիզայնի պահանջներ

Առկա տեխնոլոգիաները ուսումնասիրելուց հետո ես տեսլականի մասնագետների հետ քննարկեցի հնարավոր լուծումները `տեսողության խնդիրներ ունեցողներին իրենց միջավայրում նավարկելու լավագույն մոտեցման վերաբերյալ: Ստորև բերված աղյուսակը թվարկում է ամենակարևոր հնարավորությունները, որոնք անհրաժեշտ են ինչ -որ մեկի ՝ իմ սարքին անցնելու համար:

Առանձնահատկություն - Նկարագրություն

• Հաշվարկ - Համակարգը պետք է ապահովի արագ մշակում օգտագործողի և տվիչների միջև փոխանակված տեղեկատվության համար: Օրինակ, համակարգը պետք է կարողանա օգտագործողին տեղեկացնել առջևի խոչընդոտների մասին, որոնք գտնվում են առնվազն 2 մ հեռավորության վրա:
• Cածկույթ - Համակարգը պետք է մատուցի իր ծառայությունները ներսում և դրսում `տեսողության խնդիրներ ունեցող մարդկանց կյանքի որակը բարելավելու համար:
• --Ամանակ - համակարգը պետք է աշխատի ինչպես ցերեկը, այնպես էլ գիշերը:
• Շառավղ - ընդգրկույթը օգտագործողի և համակարգի կողմից հայտնաբերվող օբյեկտի միջև հեռավորությունն է: Իդեալական նվազագույն միջակայքը 0.5 մ է, մինչդեռ առավելագույն միջակայքը պետք է լինի ավելի քան 5 մ: Հետագա հեռավորությունները նույնիսկ ավելի լավ կլինի, բայց ավելի դժվար կլինի հաշվարկել:
• Օբյեկտի տեսակը - համակարգը պետք է հայտնաբերի օբյեկտների հանկարծակի տեսքը: Համակարգը պետք է կարողանա տարբերել շարժվող և ստատիկ օբյեկտների միջև եղած տարբերությունը:

Քայլ 4. Ինժեներական դիզայն և սարքավորումների ընտրություն

Շատ տարբեր բաղադրիչներ դիտելուց հետո ես որոշեցի ստորև բերված տարբեր կատեգորիաներից ընտրված մասերը:

Ընտրված մասերի գինը

• Zungle Panther ՝ 149,99 դոլար
• LiDAR Lite V3 ՝ 149,99 դոլար
• LV-MaxSonar-EZ1 ՝ 29,95 դոլար
• Ուլտրաձայնային տվիչ - HC -SR04: $ 3.95
• Raspberry Pi 3: 39,95 դոլար
• Arduino: 24,95 դոլար
• Kinect ՝ 32,44 դոլար
• Floureon 11.1v 3s 1500mAh ՝ 19,99 դոլար
• LM2596HV ՝ 9,64 դոլար

Քայլ 5. Սարքավորումների ընտրություն. Փոխազդեցության մեթոդ

Ես որոշեցի օգտագործել ձայնային հսկողությունը որպես սարքի հետ փոխգործակցության մեթոդ, քանի որ ձեռնափայտի վրա բազմաթիվ կոճակներ ունենալը կարող է դժվար լինել տեսողության խնդիրներ ունեցող մարդու համար, հատկապես, եթե որոշ գործառույթներ պահանջում են կոճակների համակցություն: Ձայնի կառավարման միջոցով օգտվողը կարող է օգտագործել կանխադրված հրամաններ ՝ ձեռնափայտի հետ հաղորդակցվելու համար, ինչը նվազեցնում է հավանական սխալները:

Սարքը `կողմ --- դեմ.

• Կոճակներ. Աջ կոճակը սեղմելիս հրամանի սխալ չկա --- buttonsիշտ կոճակները սեղմելն ապահովելը կարող է դժվար լինել
• Ձայնի կառավարում. Հեշտ, քանի որ օգտվողը կարող է օգտագործել նախադրված հրամաններ --- Սխալ արտասանությունը կարող է սխալներ առաջացնել

Քայլ 6. Սարքավորումների ընտրություն. Միկրոկոնտրոլեր

Սարքն օգտագործել է Raspberry Pi- ն իր ցածր արժեքի և բավարար մշակման հզորության պատճառով `խորության քարտեզը հաշվարկելու համար: Intel Joule- ը կլիներ նախընտրելի տարբերակ, բայց դրա գինը կկրկնապատկեր համակարգի արժեքը, որը իդեալական չէր լինի այս սարքը, որը մշակվել է օգտվողներին ավելի ցածր գնով տարբերակ ապահովելու համար: Արդուինոն օգտագործվել է համակարգում, քանի որ այն հեշտությամբ կարող է տեղեկատվություն ստանալ սենսորներից: BeagleBone- ը և Intel Edison- ը չեն օգտագործվել գնի և կատարման ցածր հարաբերակցության պատճառով, ինչը վատ է այս ցածր գնով համակարգի համար:

Միկրոկոնտրոլեր. Կողմ --- Դեմ.

• Ազնվամորու Pi. Այն ունի բավարար վերամշակման հզորություն խոչընդոտներ գտնելու համար և ունի ինտեգրված WiFi/Bluetooth --- Սենսորներից տվյալների ստացման շատ տարբերակներ
• Arduino. Հեշտությամբ ստացեք տվյալներ փոքր սենսորներից: այսինքն. LIDAR, Ուլտրաձայնային, SONAR և այլն --- Խոչընդոտներ գտնելու համար բավարար մշակման հզորություն չկա
• Intel Edison. Կարող է արագ մշակել խոչընդոտները արագ պրոցեսորով --- Պահանջում է լրացուցիչ մշակողի մասեր `համակարգի աշխատանքի համար
• Intel Joule. Մինչ օրս սպառողական շուկայում առկա միկրոկոնտրոլերներից որևէ մեկի վերամշակման արագությունը --- Այս համակարգի համար շատ բարձր գին և սենսորային փոխազդեցության համար դժվար է GPIO- ի հետ փոխազդելը:
• BeagleBone Black. Կոմպակտ և համատեղելի նախագծում օգտագործվող սենսորների հետ ՝ ընդհանուր նպատակի մուտքագրման ելքի (GPIO) միջոցով --- Ոչ բավարար մշակման հզորություն ՝ օբյեկտներ արդյունավետ գտնելու համար:

Քայլ 7: Սարքավորումների ընտրություն. Սենսորներ

Տեղադրության բարձր ճշգրտություն ստանալու համար օգտագործվում է մի քանի տվիչների համադրություն: Kinect- ը հիմնական սենսորն է այն տարածքի մեծության պատճառով, որը կարող է միաժամանակ խոչընդոտներ փնտրել: LIDAR- ը, որը նշանակում է LIght Detection and Ranging, հանդիսանում է հեռահար զննման մեթոդ, որն օգտագործում է լույսը իմպուլսային լազերի տեսքով ՝ արագությունը չափելու համար այն վայրից, որտեղից գտնվում է սենսորը մինչև առարկաները: այդ սենսորն օգտագործվում է, քանի որ այն կարող է հետևել մինչև 40 մետր (մ) հեռավորության վրա գտնվող տարածքին, և քանի որ կարող է սկանավորել տարբեր անկյան տակ, կարող է հայտնաբերել ՝ արդյոք որևէ քայլ վեր կամ վար բարձրանո՞ւմ է: The SOund Navigation And Ranging (SONAR) և ուլտրաձայնային տվիչները օգտագործվում են որպես պահուստային հետևում այն դեպքում, երբ Kinect- ը բաց թողնի գետնին բևեռ կամ բախում, որը վտանգ կներկայացնի օգտագործողի համար: Ազատության 9 աստիճանի տվիչն օգտագործվում է ՝ հետևելու համար, թե օգտվողը որ ուղղությամբ է կանգնած, որպեսզի սարքը կարողանա ավելի ճշգրիտ տեղեկատվություն պահել հաջորդ անգամ, երբ մարդը նույն տեղում կքայլի:

Սենսորներ. Կողմ --- Դեմ

• Kinect V1. Կարող է հետևել 3D օբյեկտներին --- Միայն մեկ տեսախցիկով `շրջապատը հայտնաբերելու համար
• Kinect V2. Ունի 3 ինֆրակարմիր տեսախցիկ և կարմիր, կանաչ, կապույտ, խորություն (RGB-D) տեսախցիկ ՝ բարձր օբյեկտների 3D ճշգրիտ հայտնաբերման համար --- Կարող է տաքանալ և կարող է անհրաժեշտ լինել հովացման օդափոխիչ, և ավելի մեծ է, քան մյուս տվիչները:
• ԼԻԴԱՐ. Beառագայթ, որը կարող է հետևել մինչև 40 մ հեռավորության վրա գտնվող վայրերին --- Պետք է տեղակայվել օբյեկտի ուղղությամբ և կարող է միայն այդ ուղղությամբ նայել
• ՍՈՆԱՐ. Beառագայթ, որը կարող է հետևել 5 մ հեռավորության վրա, բայց շատ հեռու --- Փետուրների նման փոքր առարկաները կարող են ազդանշանի ազդանշան առաջացնել
• Ուլտրաձայնային. Ունի մինչև 3 մ տարածություն և շատ էժան է --- Հեռավորությունները երբեմն կարող են ճշգրիտ չլինել
• Ազատության սենսոր 9 աստիճան. Լավ է օգտագործողի կողմնորոշման և արագության զգացման համար --- Եթե ինչ-որ բան խանգարում է սենսորներին, հեռավորության հաշվարկները կարող են սխալ հաշվարկվել

Քայլ 8. Սարքավորումների ընտրություն. Softwareրագրակազմ

Kinect V1 սենսորով կառուցված առաջին մի քանի նախատիպերի համար ընտրված ծրագրակազմը Freenect- ն էր, բայց դա այնքան էլ ճշգրիտ չէր: Kinect V2- ին և Freenect2- ին անցնելիս հետևման արդյունքները զգալիորեն բարելավվեցին հետևելու բարելավման շնորհիվ, քանի որ V2- ն ունի HD տեսախցիկ և 3 ինֆրակարմիր տեսախցիկ `ի տարբերություն Kinect V1- ի մեկ տեսախցիկի: Երբ ես օգտագործում էի OpenNi2- ը Kinect V1- ով, գործառույթները սահմանափակ էին, և ես չէի կարող վերահսկել սարքի որոշ գործառույթներ:

Softwareրագրային ապահովում. Կողմ --- Դեմ

• Freenect. Ունի վերահսկողության ավելի ցածր մակարդակ `ամեն ինչ վերահսկելու համար --- Միայն աջակցում է Kinect V1- ին
• OpenNi2. Կարող է հեշտությամբ ստեղծել Kinect- ի տեղեկատվական հոսքից կետային ամպի տվյալները --- Աջակցում է միայն Kinect V1- ին և չունի ցածր մակարդակի կառավարման աջակցություն
• Freenect2. Սենսորային սանդղակի կառավարման ավելի ցածր մակարդակ --- Աշխատում է միայն Kinect V2- ի համար
• ROS. Օպերացիոն համակարգ իդեալական տեսախցիկի գործառույթները ծրագրավորելու համար --- Անհրաժեշտ է տեղադրել արագ SD քարտի վրա, որպեսզի ծրագրակազմը աշխատի

Քայլ 9. Սարքավորումների ընտրություն. Այլ մասեր

Լիթիում իոնային մարտկոցներն ընտրվել են թեթև լինելու, հզորության մեծ հզորության և վերալիցքավորվելու պատճառով: Լիթիում իոնային մարտկոցի 18650 տարբերակը ունի գլանաձև ձև և հիանալի տեղավորվում է ձեռնափայտի նախատիպի մեջ: 1 -ին ձեռնափայտի նախատիպը պատրաստված է PVC խողովակից, քանի որ այն սնամեջ է և նվազեցնում է ձեռնափայտի քաշը:

Քայլ 10. Համակարգի մշակում. Սարքավորման ստեղծում Մաս 1

Սկզբում մենք պետք է ապամոնտաժենք Kinect- ը, որպեսզի այն ավելի թեթև լինի և այն տեղավորվի ձեռնափայտի ներսում: Ես սկսեցի Kinect- ից բոլոր արտաքին պատյանները հեռացնելով, քանի որ օգտագործվող պլաստմասսան շատ է կշռում: Հետո ստիպված եղա կտրել մալուխը, որպեսզի հիմքը հանվի: Ես վերցրեցի լարերը նկարում պատկերված միակցիչից և դրանք միացրեցի ազդանշանային լարերով USB մալուխին, իսկ մյուս երկու միացումները նախատեսված էին 12 Վ ելքային հզորության համար: Քանի որ ես ցանկանում էի, որ ձեռնափայտի ներսում գտնվող օդափոխիչը աշխատի ամբողջ հզորությամբ, որպեսզի սառեցնի մնացած բոլոր բաղադրիչները, ես անջատեցի միակցիչը օդափոխիչից Kinect- ից և 5V լարով միացրեցի Raspberry Pi- ից: Ես նաև փոքրիկ ադապտեր պատրաստեցի LiDAR լարի համար, որպեսզի այն կարողանա միանալ անմիջապես Raspberry Pi- ին ՝ առանց որևէ այլ համակարգերի միջև:

Ես պատահաբար սոսնձեցի սպիտակ մետաղալարը սևին, այնպես որ մի նայեք պատկերներին էլեկտրագծերի գծապատկերների համար:

Քայլ 11. Համակարգի մշակում. Սարքաշարի ստեղծում Մաս 2

Ես ստեղծեցի կարգավորիչի մի կտոր, որն ապահովում է բոլոր սարքերին, որոնք պահանջում են 5V, ինչպես Raspberry Pi- ն: Ես կարգավորեցի կարգավորիչը ՝ ելքի վրա հաշվիչ դնելով և ռեզիստորը կարգավորելով այնպես, որ կարգավորիչը ապահովի 5.05V: Ես դա մի փոքր բարձր եմ դնում 5 Վ -ից, քանի որ ժամանակի ընթացքում մարտկոցի լարումը նվազում է և մի փոքր ազդում ելքային լարման վրա: Ես պատրաստեցի նաև ադապտեր, որը թույլ է տալիս ինձ սնուցել մինչև 5 սարք, որոնք մարտկոցից պահանջում են 12 Վ լարման:

Քայլ 12. Համակարգի մշակում. Համակարգի ծրագրավորում Մաս 1

Այս համակարգի ամենադժվար հատվածներից մեկը ծրագրավորումն է: Երբ ես առաջին անգամ ստացա, որ Kinect- ը խաղա դրա հետ, ես տեղադրեցի մի ծրագիր, որը կոչվում է RTAB Map, որը վերցնում է տվյալների հոսքը Kinect- ից և այն վերածում կետային ամպի: Կետային ամպի հետ այն ստեղծեց 3D պատկեր, որը կարող է պտտվել, այնպես որ տեսեք բոլոր օբյեկտների գտնվելու վայրի խորությունը: Որոշ ժամանակ խաղալուց և բոլոր պարամետրերը կարգավորելուց հետո, ես որոշեցի որոշ ծրագրակազմ տեղադրել Raspberry Pi- ի վրա, որը թույլ կտա ինձ տեսնել Kinect- ի տվյալների հոսքը: Վերոնշյալ վերջին երկու պատկերները ցույց են տալիս, թե ինչ կարող է արտադրել Raspberry Pi- ն վայրկյանում մոտ 15-20 կադր արագությամբ: