Magicbit- ի տվյալների պատկերացում AWS- ում. 5 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:45

Magicbit- ի հետ կապված սենսորներից հավաքված տվյալները կհրապարակվեն AWS IOT միջուկում MQTT- ի միջոցով `իրական ժամանակում գրաֆիկական տեսք ունենալու համար: Մենք օգտագործում ենք magicbit- ը որպես զարգացման տախտակ այս նախագծում, որը հիմնված է ESP32- ի վրա: Հետևաբար, այս նախագծում կարող է օգտագործվել ցանկացած ESP32 տախտակ:

Պարագաներ:

Magicbit

Քայլ 1: Պատմություն

Այս նախագիծը MQTT- ի միջոցով ձեր Magicbit սարքը AWS Cloud- ին միացնելու մասին է: MQTT- ի միջոցով ուղարկված տվյալները վերլուծվում և արտացոլվում են ամպի մեջ ՝ օգտագործելով AWS ծառայությունները: Այսպիսով, եկեք սկսենք

Նախ պետք է գնաք AWS վահանակ և մուտք գործեք: Սովորելու համար կարող եք օգտագործել AWS- ի առաջարկած անվճար մակարդակի տարբերակը: Այս նախագծի համար բավական կլինի:

Ավելի պարզ դարձնելու համար ես նախագիծը կբաժանեմ երկու մասի:

Սա կլինի մեր ծրագրի առաջին փուլը: Առաջին փուլի ավարտին տվյալները կպահվեն S3 դույլերում:

AWS ծառայությունները, որոնք կօգտագործվեն առաջին բաժնում,

• Kinesis Firehose
• AWS սոսինձ
• AWS S3

Նախ նավարկեք AWS Kinesis ծառայություն:

Ընտրեք Kinesis Data Firehose- ը, ինչպես ցույց է տրված ստորև և կտտացրեք Ստեղծել:

Այնուհետև ձեզ կուղղորդեն դեպի Firehose ծառայություն ստեղծելու 1 -ին քայլ: Մուտքագրեք առաքման հոսքի անունը և ընտրեք Ուղղակի տեղադրում կամ այլ աղբյուրներ: Կտտացրեք Հաջորդը:

Քայլ 2 -ի պատուհանում ամեն ինչ թողեք որպես կանխադրված և կտտացրեք հաջորդը: AWS Glue ծառայությունը ստեղծելուց հետո մենք կվերադառնանք ՝ խմբագրելու այս քայլը:

Քայլ 3 -ում ընտրեք S3 դույլ, եթե այն նախկինում ստեղծել եք: Հակառակ դեպքում կտտացրեք Ստեղծեք և ստեղծեք դույլ: S3 նախածանցի բաժնում օգտագործեք dest/ և սխալի դեպքում նախածանցը մուտքագրեք սխալ/: Դուք կարող եք մուտքագրել վերը նշված երկուսի ցանկացած անուն: Բայց հեշտության համար մենք կշարունակենք ընդհանուր անունով: Համոզվեք, որ ձեր ընտրած դույլի ներսում ստեղծեք թղթապանակ dest անունով: Կտտացրեք Հաջորդը:

Քայլ 4 -ում ընտրեք բուֆերի նվազագույն չափը և բուֆերի միջակայքը իրական ժամանակի տվյալների փոխանցման համար: Թույլտվությունների բաժնում ընտրեք Ստեղծել կամ թարմացնել IAM roleKinesisFirehoseServiceRole- ը: Ամեն ինչ կանխադրված պահեք: Կտտացրեք հաջորդը:

Հաջորդ բաժնում կցուցադրվի ձեր կատարած փոփոխությունների ակնարկը: Սեղմեք OK: Այնուհետեւ կունենաք գործող Kinesis Firehose:

Եթե հաջողությամբ ստեղծեցիք Firehose ծառայությունը, դուք կստանաք այսպիսի բան.

Քայլ 2. Firehose- ի և S3 Bucket- ի փորձարկում

Ստուգելու համար, որ firehose- ը և S3 դույլը ճիշտ են աշխատում, ընտրեք IOT միջուկը մխիթարելում: Ձեզ կուղղորդեն այսպիսի էջ: Ընտրեք Կանոն և ստեղծեք կանոն:

Ի՞նչ է AWS IOT կանոնը:

Այն օգտագործվում է MQTT- ից ստացված ցանկացած տվյալ որոշակի ծառայություն փոխանցելու համար: Այս օրինակում մենք կուղարկենք Kinesis Firehose:

Ընտրեք Կանոնի անուն: Կանոնի և հարցման հայտարարությունը թողեք այնպես, ինչպես կա: Սա մեզ ասում է, որ iot/թեմայի թեմային հրապարակված ցանկացած բան այս կանոնի միջոցով կփոխանցվի kinesis Firehose- ին:

«Մեկ կամ մի քանի գործողություն սահմանել» բաժնում կտտացրեք գործողություն ավելացնել: Ընտրեք Ուղարկել հաղորդագրություն Amazon Kinesis Firehose Stream- ին: Ընտրեք կազմաձևում: Այնուհետեւ ընտրեք ավելի վաղ ստեղծված հրշեջ հոսքի անունը: Այնուհետև կտտացրեք Ստեղծել դեր և ստեղծեք դեր: Այժմ դուք հաջողությամբ ստեղծել եք դեր AWS- ում:

Ձեր հրապարակած ցանկացած հաղորդագրություն Kinesis Firehose- ի միջոցով կփոխանցվի S3 դույլերին:

Հիշեք, որ Firehose- ը տվյալներ է ուղարկում, երբ դրա բուֆերը լցված է կամ երբ բուֆերային միջակայքը հասնում է: Բուֆերի նվազագույն միջակայքը 60 վրկ է:

Այժմ մենք կարող ենք անցնել նախագծի երկրորդ մասին: Սա կլինի մեր տվյալների հոսքի դիագրամը:

Քայլ 3: Կարգավորեք AWS սոսինձը

Ինչու՞ են մեզ պետք AWS սոսինձ և AWS Athena:

S3 դույլերում պահվող տվյալները չեն կարող ուղղակիորեն օգտագործվել որպես մուտքագրում AWS Quicksight- ին: Սկզբում մենք պետք է տվյալները դասավորենք աղյուսակների տեսքով: Դրա համար մենք օգտագործում ենք վերը նշված երկու ծառայությունները:

Գնացեք AWS սոսինձ: Կողքի գործիքի տողում ընտրեք Crawler: Այնուհետեւ ընտրեք Ավելացնել որոնիչ:

Առաջին քայլում մուտքագրեք ձեր սողունի անունը: Կտտացրեք հաջորդը: Հաջորդ քայլում թողեք այն որպես կանխադրված: Երրորդ քայլում մուտքագրեք ձեր ընտրած S3 դույլի ուղին: Հաջորդ պատուհանը թողեք կանխադրված: Հինգերորդ պատուհանում մուտքագրեք IAM- ի ցանկացած դեր: Հաջորդ քայլում ընտրեց ծառայության գործարկման հաճախականությունը:

Theանկալի է, որ բացվող տուփում ընտրեք սովորույթը և ընտրեք նվազագույն ժամանակը:

Հաջորդ քայլում կտտացրեք Ավելացնել տվյալների բազա, այնուհետև հաջորդը: Կտտացրեք Ավարտել:

Այժմ մենք պետք է ինտեգրենք մեր Kinesis Firehose- ը մեր ստեղծած AWS սոսինձով:

Գնացեք մեր ստեղծած AWS Kinesis firehose և կտտացրեք խմբագրել:

Ոլորեք ներքև ՝ դեպի Փոխարկել ձայնագրման ձևաչափի բաժինը և ընտրեք Միացված:

Ընտրեց ելքային ձևաչափը որպես Apache մանրահատակ: Մնացած մանրամասների համար լրացրեք ձեր ստեղծած Սոսինձ տվյալների բազայի տվյալները: Տվյալների բազայում պետք է ստեղծվի աղյուսակ, և անունը պետք է ավելացվի այս բաժնում: Կտտացրեք Պահել:

Քայլ 4: Կարգավորեք AWS Athena- ն

Ընտրեք տվյալների բազան և ձեր ստեղծած տվյալների աղյուսակը: Հարցման բաժնում այս կոդը պետք է ավելացվի:

table-name- ը պետք է փոխարինվի ձեր ստեղծած Glue սեղանի իրական անունով:

Կտտացրեք Գործարկել հարցումը: Եթե այն աշխատում է, AWS S3 դույլում պահվող տվյալները պետք է ցուցադրվեն որպես տվյալների աղյուսակ:

Այժմ մենք պատրաստ ենք պատկերացնել մեր ստացած տվյալները:

Քայլ 5: Կարգավորեք QuickSight- ը

Գնացեք AWS Quicksight

Կտտացրեք Նոր վերլուծություն վերևի աջ անկյունում, այնուհետև կտտացրեք Նոր տվյալների հավաքածու:

Ընտրեք Աթենաս ցուցակից: Մուտքագրեք տվյալների աղբյուրի ցանկացած անուն բացվող քարտում:

Բացվող տուփից և համապատասխան աղյուսակից ընտրեք Սոսինձ տվյալների բազան: Սա ձեզ կտանի դեպի այս էջը:

Քաշեք և թողեք ցանկացած դաշտ դաշտերի ցանկից և ընտրեք ցանկացած տեսողական տեսակ:

Այժմ դուք կարող եք պատկերացնել ձեր MagicBit- ից ուղարկված ցանկացած տվյալ ՝ օգտագործելով AWS ծառայությունները:

Հիշեք, որ թույլատրեք արագաշարժության հասանելիություն համապատասխան S3 դույլերի համար `դրանցում առկա տվյալները պատկերացնելու համար: