Linux: criando script de monitoramento de sistema

Manipulando e analisando logs do sistema - Apresentação

Olá, meu nome é Gabi Ribeiro e serei sua instrutora neste curso.

Apresentação

Audiodescrição: Gabi é uma mulher parda, vestindo uma camiseta alaranjada e com cabelo roxo. Ao fundo, há uma parede iluminada nas cores azul e vermelho.

Sobre o curso

Boas-vindas a este curso de Linux. Se você tem interesse em utilizar o Linux no nosso dia a dia como pessoas desenvolvedoras ou DevOps, este curso é ideal para você.

Nele, aprenderemos a:

• manipular e analisar logs do sistema
• monitorar a rede do computador
• gerenciar disco e armazenamento
• monitorar outros recursos de hardware do sistema, como a CPU e a memória RAM
• gerenciar serviços no Linux utilizando o systemd.

Faremos tudo isso através da criação de um script de monitoramento do nosso sistema Ubuntu. Neste script, adicionaremos diversas funcionalidades para monitorar logs, rede, disco, memória e CPU. Ao final, automatizaremos a execução desse script para que ele seja executado periodicamente de forma automática.

Para aproveitar melhor este curso, é importante concluir os cursos anteriores desta Formação.

Aproveite os recursos da nossa plataforma. Além dos vídeos, temos também as atividades, fundamentais para o nosso processo de aprendizagem. Caso tenha alguma dúvida, você sempre contar com o nosso fórum. Também temos a nossa comunidade no Discord, onde podemos nos conectar com outras pessoas que estão estudando o mesmo conteúdo.

Vamos estudar?

Manipulando e analisando logs do sistema - Analisando logs no Ubuntu

É muito comum no dia a dia das pessoas que trabalham com DevOps lidar com servidores Linux. No nosso caso, estamos utilizando o Ubuntu.

Esses sistemas geram arquivos de logs que trazem informações sobre o estado do sistema, se está tudo funcionando corretamente, quais atividades estão sendo realizadas e se erros estão sendo gerados. É importante, portanto, monitorar esses logs.

Durante este curso, vamos construir um script com comandos Linux para monitorar o sistema, começando pelos arquivos de logs. Mas, antes de desenvolver o script, precisamos entender como encontrar e interpretar esses arquivos de log do sistema.

Arquivo syslog

Com o terminal aberto, o primeiro arquivo de log de sistema que vamos explorar é o syslog.

Podemos acessar esse arquivo no terminal utilizando o comando cat, que exibe todo o conteúdo de um arquivo. No entanto, como não sabemos a quantidade de informação contida no arquivo, utilizar o cat pode sobrecarregar o terminal.

Para evitar esse problema, caso o arquivo de log seja muito grande, utilizaremos o comando less, seguido do caminho para o arquivo:

less /var/log/syslog

Ao pressionar "Enter", temos uma visualização paginada desse arquivo de logs. Podemos navegar por esse arquivo utilizando as setas para cima e para baixo para ver as informações contidas nele.

Para sair dessa visualização paginada e voltar ao terminal, podemos pressionar a tecla "Q".

Mas o que é o arquivo syslog? Ele é um sistema de arquivos de logs que traz registros detalhados e gerais sobre as atividades do sistema, atividades de usuário e componentes do sistema operacional.

Dentro dele, encontramos mensagens do kernel (o núcleo do sistema), mensagens a nível de sistema operacional e informações sobre hardware. Também temos informações sobre acessos, como logins realizados no sistema, atividades de usuário, permissões de grupo e usuário, além de registros de mensagens de erro. Podemos configurar esse arquivo para salvar outras informações relevantes para monitorar.

Além da visualização paginada com o less, podemos acessar as informações do syslog em tempo real utilizando o seguinte comando:

tail -f /var/log/syslog

Esse comando traz informações atualizadas no terminal instantaneamente. Caso uma nova mensagem de log seja gerada, ela aparecerá na tela. Para sair dessa tela e voltar ao terminal, podemos pressionar "Ctrl + C".

Arquivo auth.log

Outro arquivo importante de logs no sistema é o auth.log. Podemos acessá-lo utilizando o seguinte comando:

sudo less /var/log/auth.log

A senha do sistema será solicitada. Após digitá-la, podemos navegar por esse arquivo da mesma maneira, usando as setas para cima e para baixo.

Qual a diferença entre este arquivo e o syslog? O auth.log traz informações detalhadas sobre autenticação e autorização no sistema. Todas as informações de login, sejam bem-sucedidas ou não, estão armazenadas nele. Atividades de acesso remoto, como tentativas de acesso via SSH, também são registradas. Alterações de senha de usuário ficam registradas quando um usuário altera sua senha.

Para sair dessa tela, podemos pressionar a tecla "Q".

Utilizamos o sudo para visualizar o auth.log, porque ele contém informações mais sensíveis, enquanto o syslog traz informações mais gerais do sistema. Por conter informações sensíveis, o auth.log só pode ser acessado por usuários com permissão de superusuário, garantindo maior segurança.

Esses dois são apenas alguns exemplos de arquivos de log no sistema operacional. Não veremos todos os arquivos em vídeo, mas deixaremos uma atividade "Para saber mais" sobre outros arquivos de log disponíveis.

Vale ressaltar que os comandos utilizados nesta aula funcionam tanto no Ubuntu Server quanto no Ubuntu Desktop, independentemente do sistema que você utilizar.

Agora que entendemos para que serve cada um desses arquivos de log de sistema e como acessá-los, aprenderemos como realizar o processamento desses logs.

Manipulando e analisando logs do sistema - Filtrando dados com Regex

Nós aprendemos como acessar os arquivos de log do nosso sistema, como o syslog e o auth.log.

Com o arquivo syslog aberto no terminal, notamos que ele contém muitas informações. No entanto, não queremos todas elas, pois é difícil identificar o que é relevante. Para monitorar nosso sistema, é interessante filtrar apenas os logs de erros, falhas e acessos negados, facilitando a análise.

Filtrando dados

Para realizar o filtro, utilizaremos o comando grep que já estudamos em cursos anteriores. Chamaremos o grep com a opção -E para indicar que informaremos uma expressão regular estendida. Depois, informaremos o caminho do arquivo:

grep -E "(fail(ed)?|error|denied|unauthorized)" /var/log/syslog

A expressão regular é utilizada para filtrar o arquivo /var/log/syslog, trazendo apenas as linhas que contêm as palavras definidas no comando. Vamos estudar mais a fundo a seguir.

Expressões regulares

O que é uma expressão regular? Vamos entender como criá-las e utilizá-las. Elas também são chamadas de regex (sigla para regular expression, em inglês).

As expressões regulares são sequências de caracteres que definem um padrão de pesquisa para encontrar uma string em um texto, como fizemos com o comando grep no terminal. Os componentes básicos de um regex incluem caracteres literais e metacaracteres.

Os caracteres literais correspondem exatamente à string especificada. Por exemplo, o regex "abc" corresponde à string "abc" no texto. Já os metacaracteres são caracteres especiais com significados específicos no regex.

No comando que utilizamos, os caracteres literais são as palavras "fail", "error", "denied" e "unauthorized". Os metacaracteres incluem os parênteses, o ponto de interrogação e o pipe.

Metacaracteres

Os parênteses são usados para agrupar partes de um padrão ou criar grupos de captura. No exemplo, a palavra "failed" tem "ed" entre parênteses, seguido pelo ponto de interrogação, tornando "ed" uma parte opcional do padrão de busca. Ou seja, esse trecho corresponde tanto a "fail" quanto a "failed".

O ponto de interrogação indica zero, uma repetição de caracteres ou grupo de captura anterior. Por exemplo, "a?" corresponde tanto a uma string vazia quanto a string "a".

O pipe funciona corresponde a qualquer padrão especificado à sua esquerda ou direita. Ele funciona como a expressão "OU". Por exemplo, "linux|windows" corresponde a "linux" ou "windows".

Existem outros metacaracteres que não utilizamos no nosso comando. Por exemplo:

• o acento circunflexo (início de linha)
• o cifrão (final de linha)
• o ponto (qualquer caractere, exceto quebra de linha)
• os colchetes (qualquer caractere especificado dentro deles)
• entre outros

Não entraremos em detalhes sobre todos os metacaracteres, mas deixaremos uma atividade "Para saber mais" sobre eles.

Como utilizar o regex?

No dia a dia de programação e DevOps, podemos usar regex para buscar números de telefone, criar padrões de busca para e-mails ou buscar palavras específicas em um texto, como fizemos no terminal. É comum usar regex com comandos de processamento, filtro e manipulação de texto no Linux.

Agora que vimos como usar o grep com expressões regulares para filtrar logs relevantes no terminal, queremos salvar essas informações em um arquivo. Estudaremos como fazer isso na sequência.

Sobre o curso Linux: criando script de monitoramento de sistema

O curso Linux: criando script de monitoramento de sistema possui 164 minutos de vídeos, em um total de 58 atividades. Gostou? Conheça nossos outros cursos de Linux em DevOps, ou leia nossos artigos de DevOps.

Matricule-se e comece a estudar com a gente hoje! Conheça outros tópicos abordados durante o curso:

• Manipulando e analisando logs do sistema
• Monitorando a rede
• Gerenciando discos e armazenamento
• Monitorando o hardware do sistema
• Gerenciando serviços no Linux