Մաս 2. ThinkBioT մոդել Google AutoML- ով. 8 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:47

ThinkBioT- ը նախագծված է որպես «Միացնել և խաղալ» ՝ Edge TPU- ի հետ համատեղելի TensorFlow Lite մոդելներով:

Այս փաստաթղթերում մենք կլուսաբանենք սպեկտրոգրամների ստեղծումը, ձեր տվյալների ձևաչափումը և Google AutoML- ի օգտագործումը:

Այս ձեռնարկի ծածկագիրը կգրվի bash, այնպես որ այն համատեղելի կլինի բազմաթիվ հարթակների հետ:

Կախվածություններ

• Այնուամենայնիվ, նախքան սկսելը դուք պետք է տեղադրեք Sox հրամանի տողի աուդիո ծրագիր, որը համատեղելի է Windows, Mac և Linux սարքերի հետ:
• Եթե դուք Windows սարքի վրա եք, bash սցենարները գործարկելու ամենահեշտ ձևը Git- ն է, այնպես որ ես խորհուրդ կտայի այն ներբեռնել և տեղադրել, քանի որ այն շատ առումներով օգտակար է,
• Կոդ խմբագրելու համար կամ օգտագործեք ձեր նախընտրած խմբագիրը, կամ տեղադրեք NotePad ++ -ը Windows- ի համար կամ Atom- ը այլ օպերացիոն համակարգերի համար:

** Եթե ունեք գոյություն ունեցող TensorFlow մոդելը կամ ցանկանում եք ուսուցումը փոխանցել գոյություն ունեցող մոդելով, դիմեք Google Coral փաստաթղթերին:

Քայլ 1: Ստեղծեք Google Cloud Storage Bucket

1. Մուտք գործեք ձեր gmail հաշիվ (կամ ստեղծեք այն, եթե չունեք Google հաշիվ)

2. Գնացեք նախագծի ընտրիչ էջ և կազմեք նոր նախագիծ ձեր մոդելի և սպեկտրոգրամի ֆայլերի համար: Դուք պետք է միացնեք հաշիվը հետագա առաջընթաց ունենալու համար:

3. Այցելեք https://cloud.google.com/storage/ և սեղմեք էջի վերևում գտնվող «Ստեղծեք դույլ» կոճակը:

4. Մուտքագրեք ձեր ցանկալի դույլի անունը և ստեղծեք դույլը ՝ ընդունելով կանխադրված կարգավորումները:

Քայլ 2. Ձևակերպեք ձեր տվյալները և ստեղծեք տվյալների հավաքածու Csv

Ես նախագծել եմ օգտակար սցենար `ձեր մոդել. Ստեղծելու համար անհրաժեշտ ձեր dataset.csv ֆայլը ստեղծելու համար: Տվյալների ֆայլը ձեր դույլի պատկերները կապում է տվյալների հավաքածուի նրանց պիտակների հետ:

1. Ներբեռնեք ThinkBioT շտեմարանը GitHub- ից և

2. Պատճենեք tbt_spect_example.sh ֆայլը Գործիքների գրացուցակից ձեր աշխատասեղանի նոր թղթապանակում:

3. Ավելացրեք աուդիո ֆայլեր, որոնք կցանկանայիք օգտագործել ձեր մոդելում ՝ դրանք դնելով իրենց պիտակով թղթապանակների մեջ (այսինքն ՝ այն, ինչին կցանկանայիք, որ դրանք դասավորվեին: Օրինակ, եթե ցանկանում էիք բացահայտել շներին կամ կատուներին, կարող եք ունենալ թղթապանակ շուն, կեղևի ձայներով կամ թղթապանակ ՝ կատվի անուններով և այլն և այլն:

4. Բացեք tbt_spect_example.sh- ը Notepad ++ - ով և 54 -րդ տողում «yourbucknamenename» - ը փոխարինեք ձեր Google Storage Bucket- ի անունով: Օրինակ, եթե ձեր դույլը կոչվեր myModelBucket տողը կփոխվեր

դույլ = "gs: // myModelBucket/spectro-data/"

5. Գործարկեք ծածկագիրը ՝ մուտքագրելով հետևյալը ձեր Bash տերմինալում, կոդը գործարկելու է և ստեղծելու է ձեր պիտակների csv ֆայլը և ձեր աշխատասեղանի վերևում սպեկտրոներ կոչվող գրացուցակը ՝ ստացված սպեկտրոգրամներով:

sh tbt_spect_example.sh

Քայլ 3: Վերբեռնեք ձեր սպեկտրոգրամները ձեր շերեփին

Google Storage- ում վերբեռնելու մի քանի եղանակ կա, ամենահեշտը ՝ ուղղակի թղթապանակը բեռնելն է.

1. Սեղմեք ձեր դույլի անվան վրա ձեր Google Storage էջում:

2. Ընտրեք «UPLOAD FOLDER» կոճակը և ընտրեք ձեր վերջին քայլում ստեղծված «spectro-data/» գրացուցակը:

ԿԱՄ

2. Եթե ունեք մեծ քանակությամբ ֆայլեր, կարող եք ձեռքով ստեղծել «spectro-data/» գրացուցակը ՝ ընտրելով «CREATE FOLDER», այնուհետև նավարկեք դեպի թղթապանակ և ընտրեք «UPLOAD FILES»: Սա կարող է հիանալի տարբերակ լինել մեծ տվյալների հավաքածուների համար, քանի որ կարող եք սպեկտրոգրամները վերբեռնել բաժիններում, նույնիսկ մի քանի համակարգիչների օգտագործմամբ `բեռնման արագությունը բարձրացնելու համար:

ԿԱՄ

2. Եթե առաջադեմ օգտվող եք, կարող եք նաև վերբեռնել Google Cloud Shell- ի միջոցով.

gsutil cp spectro-data/* gs: // your-bucket-name/spectro-data/

Այժմ դուք պետք է ունենաք բավականին գեղեցիկ սպեկտրոգրամներով լի մի դույլ:

Քայլ 4: Վերբեռնեք ձեր տվյալների հավաքածուի CSV- ն

Այժմ մենք պետք է մոդելը-labels.csv ֆայլը վերբեռնենք Google Storage- ի ձեր «spectro-data/» գրացուցակում, դա էապես նույնն է, ինչ վերջին քայլը, դուք պարզապես մեկ ֆայլ եք վերբեռնում շատերի փոխարեն:

1. Սեղմեք ձեր դույլի անվան վրա ձեր Google Storage էջում:

2. Ընտրեք «UPLOAD FILE կոճակը և ընտրեք ավելի վաղ ստեղծված ձեր model-labels.csv ֆայլը:

Քայլ 5: Ստեղծեք տվյալների հավաքածու

1. Նախ պետք է գտնել AutoML VIsion API- ն, այն կարող է մի փոքր բարդ լինել: Ամենահեշտ ձևը «ավտոմատ տեսլական» որոնելն է ձեր Google Cloud պահեստի որոնման տողում (նկարում):

2. Երբ սեղմում եք API- ի հղմանը, ձեզ հարկավոր կլինի միացնել API- ը:

3. Այժմ դուք կլինեք AutoML Vision Dashboard- ում (նկարում) կտտացրեք նոր տվյալների բազայի կոճակին և ընտրեք Single label և «Select a CSV file» տարբերակը: Այնուհետև ձեր մոդել-labels.csv ֆայլի հղումը կներառեք ձեր պահեստային դույլում: Եթե հետևել եք այս ձեռնարկին, ապա այն կլինի ստորև

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. Այնուհետեւ կտտացրեք շարունակել ՝ ձեր տվյալների հավաքածուն ստեղծելու համար: Ստեղծման համար կարող է որոշ ժամանակ պահանջվել:

Քայլ 6: Ստեղծեք ձեր AutoML մոդելը

Երբ ստացաք ձեր էլ. Փոստը, որը կտեղեկացնի ձեր տվյալների հավաքածուի ստեղծման մասին, պատրաստ եք ստեղծել ձեր նոր մոդելը:

1. Սեղմեք ԳՈRAՅՆԻ կոճակը
2. Ընտրեք մոդելի տեսակը ՝ եզր և մոդելի ուշացման գնահատականներ.
3. Այժմ ձեր մոդելը կվերապատրաստվի, որոշ ժամանակ կպահանջվի, և դուք կստանաք նամակ, երբ այն պատրաստ լինի ներբեռնելու համար:

Նշում. Եթե վարժեցնելու կոճակն անհասանելի է, կարող եք խնդիրներ ունենալ ձեր տվյալների բազայի հետ: Եթե ունեք յուրաքանչյուր դասից (պիտակից) 10 -ից պակաս, համակարգը ձեզ թույլ չի տա մոդել պատրաստել, այնպես որ կարող եք ստիպված լինել լրացուցիչ պատկերներ ավելացնել: Եթե պարզաբանումների կարիք ունեք, արժե նայել Google AutoML տեսանյութին:

Քայլ 7: Փորձարկեք ձեր մոդելը

Մոդելի լրացման էլփոստը ստանալուց հետո կտտացրեք հղմանը ՝ AutoML Vision API- ին վերադառնալու համար:

1. Այժմ դուք կկարողանաք դիտել ձեր արդյունքները և ձեր մոդելի շփոթության մատրիցան:

2. Հաջորդ քայլը ձեր Մոդելի փորձարկումն է, անցեք «ԹԵՍՏ և ՕԳՏԱԳՈՐՈ toՄ» կամ «ԳՈՐՈՆԵՈ toԹՅՈՆ» տարօրինակ կերպով, թվում է, թե օգտվողի 2 միջերեսային միջերես (GUI) կա, որոնցից երկուսն էլ պատկերել եմ, բայց երկուսն էլ ունեն նույն ֆունկցիոնալությունը:

3. Այժմ կարող եք բեռնել փորձնական սպեկտրոգրամ: Մեկ սպեկտրոգրամ կազմելու համար կարող եք օգտագործել tbt_make_one_spect.sh ծրագիրը ThinkBioT Github- ից: Պարզապես գցեք այն wav- ի թղթապանակում, որը ցանկանում եք վերածել սպեկտրոգրամի, բացեք Git Bash պատուհանը (կամ տերմինալը) և օգտագործեք ներքևի ծածկագիրը ՝ փոխարինելով ձեր ֆայլի անունը:

sh tbt_make_one_spect.sh yourWavName.wav

4. Այժմ պարզապես վերբեռնեք սպեկտրոգրամը և ստուգեք ձեր արդյունքը:

Քայլ 8: Տեղադրեք ձեր մոդելը ThinkBioT- ում

Ձեր նոր փայլուն մոդելը օգտագործելու համար պարզապես թողեք մոդելը և txt ֆայլը CModel թղթապանակում;

pi> ThinkBioT> ClassProcess> CModel

Այժմ դուք պատրաստ եք օգտագործել ThinkBioT:)

** Նշում ** Եթե դուք օգտագործում եք ձեր մոդելը ThinkBioT շրջանակից դուրս, ապա ձեզ հարկավոր է խմբագրել ձեր պիտակի փաստաթուղթը, քանի որ յուրաքանչյուր տողի սկզբում ավելացրեք թվեր, քանի որ վերջին tflite թարգմանիչների ներկառուցված «readlabels» գործառույթը ենթադրում է, որ դրանք այնտեղ են: Ես ThinkBioT շրջանակում գրել եմ հատուկ գործառույթ classify_spect.py որպես աշխատանք, որի շուրջ դուք կարող եք օգտագործել ձեր սեփական ծածկագրում:)

def ReadLabelFile (file_path):

հաշվիչ = 0 բաց (file_path, 'r', encoding = 'utf-8') as f: lines = f.readlines () ret = {} տողերում տողերի համար. ret [int (counter)] = line.strip () հաշվիչ = հաշվիչ + 1 վերադարձ ret