Կաֆկայի տեղադրում. 4 քայլ

2024 Հեղինակ: John Day | [email protected]. Վերջին փոփոխված: 2024-01-30 09:48

Ներածություն:

Apache Kafka- ն բաց կոդով ընդլայնվող և բարձր թողունակությամբ հաղորդագրությունների համակարգ է, որը մշակվել է Scala- ում գրված Apache Software Foundation- ի կողմից: Apache Kafka- ն հատուկ նախագծված է, որպեսզի թույլ տա մեկ կլաստեր ծառայել որպես մեծ միջավայրի տվյալների հիմնական ողնաշար: Այն ունի շատ ավելի բարձր թողունակություն ՝ համեմատած հաղորդագրությունների բրոքերային այլ համակարգերի հետ, ինչպիսիք են ActiveMQ- ը և RabbitMQ- ը: Այն ի վիճակի է արդյունավետ կերպով գործածել իրական ժամանակի տվյալների մեծ ծավալներ: Կարող եք Կաֆկան տեղակայել մեկ Apache սերվերի վրա կամ բաշխված խմբավորված միջավայրում:

Հատկություններ:

Կաֆկայի ընդհանուր առանձնահատկությունները հետևյալն են.

Համառ հաղորդագրություն սկավառակի վրա, որն ապահովում է մշտական ժամանակի կատարում:

Բարձր թողունակություն սկավառակի կառուցվածքներով, որոնք ապահովում են վայրկյանում հարյուր հազարավոր հաղորդագրություններ:

Բաշխված համակարգը հեշտությամբ կշռվում է ՝ առանց խափանման:

Աջակցում է բազմաբաժանորդներին և ավտոմատ կերպով հավասարակշռում սպառողներին ձախողման ժամանակ:

Այս ձեռնարկը ցույց է տալիս, թե ինչպես տեղադրել և կարգավորել Apache Kafka- ն Ubuntu 16.04 սերվերի վրա:

Պահանջներ

Ubuntu 16.04 սերվեր:

Ձեր սերվերի վրա տեղադրված գերծանրքաշային օգտվողի իրավունք ունեցող ոչ արմատային հաշիվ:

Քայլ 1: Սկսել և տեղադրել Java

1) Եկեք սկսենք համոզվել, որ ձեր Ubuntu 16.04 սերվերը լիովին արդիական է:

Դուք կարող եք թարմացնել ձեր սերվերը ՝ գործարկելով հետևյալ հրամանները.

sudo apt -get թարմացում -y

sudo apt -get upgrade -y

2) Java- ի տեղադրում

Ստուգեք ՝ արդյոք ձեր համակարգչում կա արդեն տեղադրված java, թե՞ java- ի կանխադրված տարբերակ ՝ հետևյալ հրամանով.

java -վերափոխում

Նույնիսկ եթե ունեք java, բայց ավելի ցածր տարբերակ, դուք ստիպված կլինեք արդիականացնել այն:

Կարող եք Java- ն տեղադրել ՝-

sudo apt-get install default-jdk

ԿԱՄ

Դուք կարող եք տեղադրել Oracle JDK 8 -ը ՝ օգտագործելով Webupd8 թիմի PPA պահոցը:

Պահեստը ավելացնելու համար գործարկեք հետևյալ հրամանը.

sudo add-apt-repository -y ppa: webupd8team/java

sudo apt-get install oracle-java8-installer -y

Քայլ 2: Տեղադրեք Zookeeper

Ի՞նչ է Zookeeper- ը:

Zookeeper- ը կենտրոնացված ծառայություն է ՝ կազմաձևման տեղեկատվության պահպանման, անվանման, բաշխված համաժամացման և խմբային ծառայությունների տրամադրման համար: Այս բոլոր տեսակի ծառայություններն այս կամ այն կերպ օգտագործվում են բաշխված ծրագրերի միջոցով: Ամեն անգամ, երբ դրանք իրագործվում են, շատ աշխատանք կա, որը գնում է վրիպակների և մրցավազքի պայմանների շտկման ուղղությամբ, որոնք անխուսափելի են: Այս տեսակի ծառայությունների իրականացման դժվարության պատճառով դիմումները սկզբում սովորաբար դրանք չեն խնայում, ինչը փոփոխությունների առկայության դեպքում դրանք դարձնում են փխրուն և դժվար կառավարելի: Նույնիսկ ճիշտ կատարման դեպքում, այդ ծառայությունների տարբեր իրականացումները հանգեցնում են կառավարման բարդության, երբ ծրագրերը տեղակայվում են:

Apache Kafka- ն տեղադրելուց առաջ ձեզ հարկավոր կլինի ունենալ և աշխատելու zookeeper: ZooKeeper- ը բաց կոդով ծառայություն է `կազմաձևման տեղեկատվության պահպանման, բաշխված համաժամացման, խմբավորման ծառայությունների անվանման և մատուցման համար:

1) Լռելյայն Zookeeper փաթեթը հասանելի է Ubuntu- ի կանխադրված պահեստում

Դուք կարող եք տեղադրել այն ՝ գործարկելով հետևյալ հրամանը.

sudo apt-get տեղադրել zookeeperd

Տեղադրումն ավարտվելուց հետո այն ինքնաբերաբար կսկսվի որպես դեյմոն: Լռելյայն Zookeeper- ը կաշխատի 2181 նավահանգստում:

Դուք կարող եք ստուգել այն ՝ գործարկելով հետևյալ հրամանը.

netstat -ant | grep: 2181

Տեղադրված տեղադրումը պետք է ցույց տա, որ 2181 նավահանգիստը լսվում է:

Քայլ 3: Տեղադրեք և գործարկեք Kafka սերվերը

Այժմ, երբ տեղադրված են Java- ն և ZooKeeper- ը, ժամանակն է ներբեռնելու և հանելու Kafka- ն Apache կայքից:

1) Կաֆկան ներբեռնելու համար կարող եք օգտագործել curl կամ wget ((Կաֆկա տարբերակ 0.10.1.1)

Կաֆկայի կարգավորումը ներբեռնելու համար գործարկեք հետևյալ հրամանը.

գանգրացնել -O

ԿԱՄ

wget

2) Ստեղծեք տեղեկատու Կաֆկայի համար

Հաջորդը, ստեղծեք գրացուցակ Kafka- ի տեղադրման համար.

sudo mkdir /opt /kafka

cd /opt /kafka

3) Բացել ներբեռնված թղթապանակը

sudo tar -zxvf /home/user_name/ Ներբեռնումներ/kafka_2.11-0.10.1.1.tgz -C/opt/kafka/

*Փոխեք օգտվողի անունը ՝ ըստ ձեր օգտանվան

4) Սկսեք kafka սերվերը

Հաջորդ քայլը Kafka սերվերի գործարկումն է, այն կարող եք սկսել ՝ գործարկելով kafka-server-start.sh սցենարը /opt/kafka/kafka_2.11-0.10.1.1/bin/ գրացուցակում ՝ օգտագործելով հետևյալ հրամանը.-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Ստուգեք, արդյոք Kafka Server- ը լավ է աշխատում

Այժմ դուք ունեք Kafka սերվեր, որն աշխատում և լսում է 9092 նավահանգստում:

Այժմ մենք կարող ենք ստուգել լսող նավահանգիստները.

- Կենդանաբանական այգի: 2181

- Կաֆկա ՝ 9092

netstat -ant | grep -E ': 2181 |: 9092'

Քայլ 4: Փորձարկեք ձեր Kafka սերվերը

,Ամանակն է ստուգել, որ Kafka սերվերը ճիշտ է աշխատում:

1) Ստեղծեք նոր թեմա

Կաֆկան փորձարկելու համար ստեղծեք օրինակելի թեմա Apache Kafka- ում «փորձարկում» ՝ օգտագործելով հետևյալ հրամանը.

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-ստեղծեք-թեմայի փորձարկում --zookeeper localhost: 2181-բաժանմունքներ 1-կրկնություն-գործոն 1

2) Ստուգեք, արդյոք ձեր թեման հաջողությամբ ստեղծվել է

Այժմ, խնդրեք Zookeeper- ին ՝ թվարկել Apache Kafka- ի առկա թեմաները ՝ գործարկելով հետևյալ հրամանը.

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh-ցուցակ --zookeeper localhost: 2181

3) Հրապարակեք հաղորդագրություն ՝ օգտագործելով ձեր ստեղծած թեման

արձագանք «բարև աշխարհ» | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh-broker-list localhost: 9092-թեմայի փորձարկում

4) Ստացեք ստեղծված թեմայի վերաբերյալ հաղորդագրությունը

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh-bootstrap-server localhost: 9092-թեմայի փորձարկում-սկզբից

5) Kafka- ի միջոցով ֆայլ ուղարկել թեմայի շուրջ

kafka-console-producer.sh-միջնորդների ցուցակ localhost: 9092-թեմայի փորձարկում