Configurando o Kafka: 4 etapas

2024 Autor: John Day | [email protected]. Última modificação: 2024-01-30 11:37

Introdução:

Apache Kafka é um sistema de mensagens de alto rendimento e escalonável de código aberto desenvolvido pela Apache Software Foundation escrito em Scala. O Apache Kafka foi especialmente projetado para permitir que um único cluster sirva como backbone de dados central para um grande ambiente. Ele tem uma taxa de transferência muito maior em comparação com outros sistemas de corretores de mensagens, como ActiveMQ e RabbitMQ. Ele é capaz de lidar com grandes volumes de dados em tempo real com eficiência. Você pode implantar o Kafka em um único servidor Apache ou em um ambiente em cluster distribuído.

Recursos:

As características gerais do Kafka são as seguintes:

Mensagem persistente no disco que fornece desempenho de tempo constante.

Alta taxa de transferência com estruturas de disco que suportam centenas de milhares de mensagens por segundo.

O sistema distribuído é dimensionado facilmente, sem tempo de inatividade.

Suporta vários assinantes e equilibra automaticamente os consumidores durante a falha.

Este tutorial mostra como instalar e configurar o Apache Kafka em um servidor Ubuntu 16.04.

Requisitos

Um servidor Ubuntu 16.04.

Conta de usuário não root com privilégio de superusuário configurada em seu servidor.

Etapa 1: Primeiros passos e instalação do Java

1) Vamos começar certificando-se de que seu servidor Ubuntu 16.04 está totalmente atualizado

Você pode atualizar seu servidor executando os seguintes comandos: -

sudo apt-get update -y

sudo apt-get upgrade -y

2) Instalando Java

Verifique se sua máquina possui java que já está instalado ou possui uma versão padrão de java através do seguinte comando: -

java -version

Mesmo se você tiver java, mas uma versão inferior, você terá que atualizá-lo.

Você pode instalar o Java por: -

sudo apt-get install default-jdk

OU

Você pode instalar o Oracle JDK 8 usando o repositório PPA da equipe Webupd8.

Para adicionar o repositório, execute o seguinte comando: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Etapa 2: instalar o Zookeeper

O que é Zookeeper?

Zookeeper é um serviço centralizado para manter informações de configuração, nomenclatura, fornecer sincronização distribuída e fornecer serviços de grupo. Todos esses tipos de serviços são usados de uma forma ou de outra por aplicativos distribuídos. Cada vez que eles são implementados, há muito trabalho para consertar os bugs e as condições de corrida que são inevitáveis. Devido à dificuldade de implementar esses tipos de serviços, os aplicativos geralmente os reduzem, o que os torna frágeis na presença de mudanças e difíceis de gerenciar. Mesmo quando feito corretamente, diferentes implementações desses serviços levam à complexidade do gerenciamento quando os aplicativos são implantados.

Antes de instalar o Apache Kafka, você precisará ter o zookeeper disponível e em execução. ZooKeeper é um serviço de código aberto para manter informações de configuração, fornecendo sincronização distribuída, nomenclatura e serviços de grupo.

1) Por padrão, o pacote Zookeeper está disponível no repositório padrão do Ubuntu

Você pode instalá-lo executando o seguinte comando: -

sudo apt-get install zookeeperd

Assim que a instalação for concluída, ele será iniciado como um daemon automaticamente. Por padrão, o Zookeeper será executado na porta 2181.

Você pode testá-lo executando o seguinte comando:

netstat -ant | grep: 2181

A saída deve mostrar que a porta 2181 está sendo ouvida.

Etapa 3: instalar e iniciar o servidor Kafka

Agora que o Java e o ZooKeeper estão instalados, é hora de baixar e extrair o Kafka do site da Apache.

1) Você pode usar curl ou wget para baixar o Kafka: (Kafka versão 0.10.1.1)

Execute o seguinte comando para baixar a configuração do kafka: -

curl -O

OU

wget

2) Crie um diretório para o Kafka

Em seguida, crie um diretório para a instalação do Kafka:

sudo mkdir / opt / kafka

cd / opt / kafka

3) Descompacte a pasta baixada

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Altere o nome de usuário de acordo com o seu nome de usuário

4) Inicie o servidor kafka

A próxima etapa é iniciar o servidor Kafka, você pode iniciá-lo executando o script kafka-server-start.sh localizado no diretório /opt/kafka/kafka_2.11-0.10.1.1/bin/ usando o seguinte comando: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Verifique se o servidor Kafka está funcionando bem

Agora você tem um servidor Kafka em execução e escutando na porta 9092.

Agora, podemos verificar as portas de escuta:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Etapa 4: teste seu servidor Kafka

Agora, é hora de verificar se o servidor Kafka está funcionando corretamente.

1) Crie um novo tópico

Para testar o Kafka, crie um tópico de amostra com o nome "teste" no Apache Kafka usando o seguinte comando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partições 1 --fator de replicação 1

2) Verifique se o seu tópico foi criado com sucesso

Agora, peça ao Zookeeper para listar os tópicos disponíveis no Apache Kafka executando o seguinte comando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Publique uma mensagem usando o tópico que você criou

echo "hello world" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 --topic testing

4) Receber a mensagem sobre o tema criado

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 --teste de tópico –desde-início

5) Para enviar um arquivo usando kafka sobre um tópico

kafka-console-producer.sh --broker-list localhost: 9092 –topic testing