Կենսաֆինանսական կինոթատրոն `7 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:50

Նախագծի հեղինակ

Essեսիկա Էն

Համագործակիցներ

• Գրիգոր Հաֆ
• Սալուդ Լոպես
• Պեդրո Պեյրա

Մասին

Տեսափառման փորձարարական համակարգ, որը միացնում է մասնակցի ուղեղը տեսախցիկի գործառույթներին Neurosky Mindwave EEG Reader ականջակալի միջոցով: Biofeedback կինոթատրոնի համակարգը գործում է ավանդական կինեմատոգրաֆիստի փոխարեն, փոխարենը կոմպոզիցիայի գործակալությունը փոխանցելով մասնակիցին ինքն իրեն `BRAIN to CAMERA ինտերֆեյսի միջոցով: Նախագիծը մշակվել է սեմինարի մասնակիցներ Գրեգորի Հոյի, Սալուդ Լոպեսի և Պեդրո Պեյրայի հետ համատեղ: Սեմինարի արդյունքները կարող եք կարդալ ՝

Նախատիպի կազմաձևում

Biofeedback Cinema համակարգը իրեն թույլ է տալիս բազմաթիվ հնարավոր ծրագրեր: Այս ուսանելիի համար մենք պատրաստել ենք համակարգի ցուցադրական տարբերակը, որը դիտում է մասնակցի ուշադրության/ուշադրության մակարդակը (մեկ ամբողջ թիվ) և այն թարգմանում է տեսախցիկի դիրքի (թավայի և թեքության միջոցով) և ֆոտոխցիկի ֆոկուսի (ներսում ՝ OpenCV- ի միջոցով): Այս ամենը հնարավոր է դարձել Neurosky EEG Reader ականջակալի և Raspberry Pi- ի միջև bluetooth կապի շնորհիվ:

Raspberry Pi- ն փոքր համակարգիչ է ՝ հագեցած վեբ -տեսախցիկով և սցենարներով (հասանելի են ստորև), որոնք կամրջում են մասնակցի ուղեղի գործունեությունը տեսախցիկի կարգավորումների և տեսախցիկի դիրքի վրա: Խցիկի դինամիկ դիրքը հնարավոր է դառնում Arduino միկրոկառավարիչի միջոցով, որը ազդանշաններ է ստանում Raspberry Pi- ից: Մենք անհամբերությամբ սպասում ենք հետագա զարգացմանը, քանի որ նպատակ ունենք ներառել ուղեղի ալիքի լրացուցիչ պարամետրեր (հաճախականություններ, որոնք կապված են աչքերի թարթման հետ և այլն) և տեսախցիկի գործառույթները (այսինքն ՝ երանգ, հագեցվածություն, պայծառություն և այլն):

Ստորև բերված են ձեր սեփական Biofeedback Cinema համակարգը կառուցելու հրահանգները:

Ուրախ փորձարկումներ:

Քայլ 1: Պաշարներ

Ստորև թվարկված է այն ամենը, ինչ ձեզ հարկավոր է սեփական Biofeedback Cinema նախատիպը կառուցելու համար:

1. Neurosky Mindwave շարժական EEG ականջակալ

2. Ազնվամորի Pi B+ (ավելի լավ է b+, ավելի շատ USB պորտեր, բայց B մոդելը նույնպես լավ է, եթե ունեք USB հանգույց):

   1. Raspberry Pi Power Adapter կամ Battery Pack
   2. Wifi Dongle - կամ Ethernet միացում (անհրաժեշտ է միայն տեղադրման ընթացքում)
   3. Bluetooth Dongle տես վիքի ՝ համատեղելի dongles- ի համար
   4. SD քարտ (առնվազն 8 ԳԲ) NOOBS- ով:

3. Arduino boardանկացած տախտակ լավ է ՝ Uno- ն օգտագործելով այս հրահանգում: Նաև նշեք, որ պարզապես կարող եք օգտագործել I/O- ն Pi- ի վրա:

   1. Arduino էներգիայի ադապտեր կամ մարտկոցի փաթեթ
   2. A-B USB մալուխ
4. USB վեբ -տեսախցիկ
5. Mini Pan-Tilt Kit

6. Վերահսկեք HDMI մուտքագրմամբ կամ օգտագործեք VNC ՝ ձեր համակարգչից ձեր pi հեռակառավարման համար [ձեռնարկը այստեղ]

   HDMI մալուխ

7. USB ստեղնաշարը և մկնիկը խորհուրդ են տալիս bluetooth ստեղնաշար և մկնիկ ՝ նվազագույնի հասցնել օգտագործվող USB պորտերը:

Քայլ 2: Կարգավորեք Raspberry Pi- ն

1. Կարգավորեք սարքաշարը

Միացրեք ստեղնաշարը, մկնիկը, bluetooth dongle- ը, wifi dongle- ը (կամ ethernet), վեբ -տեսախցիկը, մոնիտորը HDMI մալուխի միջոցով և սնուցեք ձեր Raspberry Pi- ին:

2. Կարգավորեք օպերացիոն համակարգը

• Միացրեք անջատիչը և ձեր Pi- ն պետք է գործարկվի: Տեղադրեք Rasbpian OS- ը, հրահանգներն այստեղ ՝
• Եթե գործարկվի և Raspian- ը ճիշտ տեղադրվի, դուք պետք է տեսնեք տան աշխատասեղանը [Պատկեր վերը]:

ԱՇԽԱՏԱՆՔՆԵՐ.

• Եթե աշխատասեղանի տեսքի հարաբերակցությունը անջատված է, փորձեք վերագործարկել ձեր Raspberry Pi- ը: Եթե այն դեռ անջատված է, նայեք այստեղ ՝ ձեռքի տեսանկյունից հարաբերակցությունը թարմացնելու համար:
• Եթե բացում եք տեքստային խմբագիր, և ձեր ստեղնաշարի հատուկ նիշերը սխալ են պատկերված, նայեք այստեղ ՝ ձեր ստեղնաշարի կազմաձևը թարմացնելու համար:
• Փորձարկեք ձեր ինտերնետային կապը (դա ձեզ հարկավոր կլինի `գրադարաններ տեղադրելու ընթացքում տեղադրելու համար): Փնտրեք այստեղ ՝ wifi կարգավորում ստանալու համար:

Քայլ 3: Միացրեք Neurosky ականջակալը

1. Bluetooth կոնֆիգուրացիա

Նախքան Pi- ն Neurosky- ին միանալը, մենք պետք է կարգավորենք bluetooth- ը.

Սեղանի վրա բացեք «LXTerminal» (այսուհետ `տերմինալ): Գործարկեք այս հրամանը ՝ թերությունները վերացնելու և թարմացնելու համար

$ sudo apt-get թարմացում

Տեղադրեք bluetooth այս հրամանով

$ sudo apt-get տեղադրել bluetooth

Տեղադրեք հարմար աշխատասեղան-գործիքագոտու bluetooth օգտակար

$ sudo apt-get install -y bluetooth bluez-utils blueman

Վերագործարկեք Pi- ն տերմինալից

$ sudo վերագործարկում

2. Փորձարկեք Bluetooth կապը

• Միացրեք Neurosky ականջակալը
• Սարքերի տերմինալային սկանավորումից.

hcitool սկանավորում

Mindwave ականջակալը պետք է նշված լինի, ուշադրություն դարձրեք ականջակալի MAC հասցեին [նկարը վերևում]:

3. Տեղադրեք Neurosky գրադարաններ

Այժմ մենք պատրաստ ենք տեղադրել Neurosky Python գրադարանները և սկսել հավաքել դրա տվյալների հոսքը գրադարանի փորձարկման սցենարով.

Տերմինալից տեղադրեք github կոմունալը

sudo apt-get տեղադրել git-core

Կլոնավորել github պահոցը Neurosky Python գրադարանով

sudo git կլոն

Մենք պետք է թարմացնենք MindwaveMobileRawReader.py ֆայլը ձեր ականջակալի MAC հասցեով: ՏԵI. Ֆայլերի անունները մեծատառ են:

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Թարմացրեք ֆայլում նշված MAC հասցեն: Ctrl-X- ը ավարտելու համար, Y- ը `փրկելու համար, մուտքագրեք` ելքը:
• Paույգացրեք Neurosky- ն և Pi- ն և թույլ տվեք ավտոմատ միացման գործառույթը, եթե PIN կոդի համար պահանջվի օգտագործել «0000»:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device վստահելի XX: XX: XX: XX: XX: XX այո

Տեղադրեք Python Bluetooth գրադարանը

sudo apt-get տեղադրել python-bluez

Գործարկեք գրադարանի փորձարկման սցենարը `ապահովելու համար, որ Pi- ն ի վիճակի է նախադիտել տվյալների հոսքը: Դուք պետք է տեսնեք տվյալների հոսքը [վերը նշված պատկերը]

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

Քայլ 4. Միացրեք USB վեբ -տեսախցիկ W/Open CV- ով

1. Տեղադրեք OpenCV

Տերմինալից

$ sudo apt-get տեղադրել libopencv-dev python-opencv

Ավարտելուց հետո շարունակեք

$ sudo apt -get -f տեղադրեք

Լավ չափման համար

$ sudo apt-get տեղադրել libopencv-dev python-opencv

Ստուգեք տեղադրումը `փորձելով ներմուծել գրադարանը

$ պիթոն

> ներմուծել cv2

2. Փորձարկեք OpenCV- ն Python- ում USB վեբ տեսախցիկով

• Սեղանի վրա բացեք «IDLE» (չբացեք IDLE3!)
• Ֆայլ ընտրացանկից ընտրեք Նոր պատուհան: Պատճենեք մեր Cv-Blur-Test սցենարը նոր պատուհանում և պահեք: Սցենարը հասանելի է այստեղ ՝
• Գործարկել ընտրացանկից ընտրեք Գործարկել մոդուլը (կամ սեղմեք F5): Գործընթացին մի քանի վայրկյան կպահանջվի, բայց տեսեք, որ տեսախցիկի ուղիղ հոսքով մի փոքր շրջանակ է հայտնվում, և տեսանյութը պետք է լինի պղտոր: Շնորհավորում ենք, OpenCV- ն տեղադրվել է և հաջողությամբ աշխատում է ձեր տեսախցիկի հետ [Պատկեր վերը]:

Քայլ 5: Միացրեք Arduino- ն

1. Ներբեռնեք Arduino IDE- ն

Տերմինալից

sudo apt-get տեղադրեք arduino- ն

2. Միացրեք Arduino & Load Sketch- ը

• Միացրեք arduino- ն Pi- ին A-B USB մալուխով:
• Սեղանի մեկնարկի ընտրացանկից անցեք Էլեկտրոնիկա և բացեք Arduino IDE- ն: Պատճենեք մեր arduino-serial-pi ուրվագիծը IDE- ում [ստորև բերված հղումը]: Սա շատ հիմնական ուրվագիծ է, որը կտեղափոխի servo շարժիչներ `սերիայի հաջորդ մուտքի հիման վրա: Մենք սերիայի վերաբերյալ տվյալներ կուղարկենք ՝ հիմնված ուղեղի ալիքի ելքի վրա ՝ օգտագործելով Python էսքիզը վերջին քայլին, երբ ամեն ինչ հավաքենք:

Arduino-serial-pi ուրվագիծը առցանց այստեղ ՝

Arduino IDE- ում գնացեք Գործիքներ ընտրացանկ, ընտրեք Սերիական նավահանգիստ և ընտրեք նշված Arduino նավահանգիստը, հավանաբար, ինչ -որ բան նման է /dev /ttyACM0: Նշում կատարեք նավահանգստի մասին:

3. Անջատել Serial Console- ը

Ներբեռնեք և գործարկեք սցենարը սերիական վահանակն անջատելու համար, որպեսզի USB սերիական կապը սահուն աշխատի

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./ կարգավորում

$ sudo վերագործարկում

FYI:

Եթե դուք օգտագործում եք B +- ը, գուցե բավարար մուտք/ելք լինի սերվերին սպասարկելու համար (նայեք այստեղ ՝ GPIO- ն կարգավորելու և օգտագործելու համար): Այնուամենայնիվ, ես շահագրգռված եմ լրացուցիչ բաղադրիչների ավելացմամբ `ապագա ուղեղի էլեկտրոնիկայի փորձերի համար: Այսպիսով, նախնական նախատիպի ստեղծումը arduino- ով ապահովում է բազմաթիվ էլեկտրոնային հնարավորություններ:

Քայլ 6: Ամեն ինչ միասին դնել

1. Վերջնական Python սցենար

Նախքան «python-mindwave-mobile» թղթապանակին վերջնական պիթոնի սցենարը ավելացնելը, մենք պետք է փոխենք թղթապանակի թույլտվությունները: Տերմինալից

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Բացեք IDLE- ը և գործարկեք մեր վերջին Python սցենարը, որը հասանելի է առցանց այստեղ ՝ https://github.com/PrivateHQ/biofeedback-cinema/ Համոզվեք, որ այն գտնվում է python-mindwave-mobile պանակում: ՏԵI. Դուք պետք է թարմացնեք մեր Python սցենարը ձեր փաստացի Arduino նավահանգստի հասցեով:
• Այս սցենարը գործարկելիս պետք է տեղի ունենա երեք բան. 1) Ձեր ուշադրության մակարդակը կցուցադրվի Python Shell- ում, 2) հայտնվում է փոքր շրջանակ, որը ցույց է տալիս վեբ -տեսախցիկի կենդանի հոսքը ՝ պղտորումը փոխվելով ուշադրության մակարդակի վրա, 3) շարժիչը (ս) շարժվել, քանի որ ուշադրության մակարդակը փոխանցվում է arduino- ին սերիայի միջոցով [Տեսանյութը վերևում]:

Քայլ 7: Բարելավումներ և զարգացում

Raspberry Pi- ն ունի սահմանափակ մշակման հզորություն, և պայքարում է OpenCV գործառույթների անխափան աշխատանքի համար: Սա մի բան է, որը ես կշարունակեմ զարգացնել և կատարելագործել: Բացի այդ, ես նախատեսում եմ ներառել ուղեղի ալիքի լրացուցիչ պարամետրեր (հաճախականություններ, որոնք կապված են աչքերի թարթման հետ և այլն) և տեսախցիկի գործառույթները (այսինքն ՝ երանգ, հագեցվածություն, պայծառություն և այլն) ապագա կրկնումներում: