Imagine obter insights, sugestões ou até mesmo tomadas de decisões instantaneamente após a integração de um processo de negócio ser executada, baseada em fatos estatísticos? Esta é a proposta que a adoção de Real-Time Big Data Analytics visa suprir, permitindo que diversos processos sejam revisados e melhorados.
O que é Real-Time Big Data Analytics?
Real-Time Big Data Analytics diz respeito ao processamento de um volume de dados assim que o mesmo é produzido ou integrado, de modo à poder retornar insights em tempo hábil para que se possa tomar uma decisão ou que sistemas analíticos possam disparar ações ou notificações aos usuários interessados.
Aplicações
Tipos de vertentes de negócio que podem se beneficiar de Real-Time Big Data Analytics:
- Fraud Analysis: Ao capturar transações financeiras em tempo-real e classificá-la utilizando métodos de Machine Learning perante à uma base de transações históricas (fraudulentas ou não), podemos detectar fraudes e movimentações atípicas, evitando prejuízos e não conformidades.
- Resource Management: Acompanhando continuamente a emissão de pedidos, faturamento e orçamentos em tempo-real e predizendo-o com auxílio do seu histórico, o uso de Real-Time Big Data Analytics pode efetuar predições em relação ao estoque de produtos ou de componentes necessários à sua fabricação segundo à lista técnica, enviando notificações e sugestões de compra ou movimentação entre centros antes que haja gaps de produção ou distribuição.
- Customer Experience: Real-Time Big Data Analytics pode melhorar a experiência do cliente em e-commerces ou marketplaces ao conferir descontos ao analisar o estoque em tempo-real, efetuar sugestão de produtos comprados em conjunto ou até mesmo notificar a equipe de CRM ao analisar e recuperar clientes com carrinhos de compra aaondonados.
- IoT Analytics: A análise em tempo-real de sensores em áreas como mobilidade urbana, agricultura, mineração e indústria pode detectar padrões e com isso tomar ações como acionar automaticamente equipes e processos de manutenção ou reposição de peças e insumos.
- Crisis Management: O monitoramento contínuo de mídias sociais aliado à análise de sentimentos baseada em Machine Learning pode prever crises e comportamentos midiáticos em relação à uma companhia ou marca, o que pode acelerar a tomada de ações de porta-vozes e gerenciadores de crises.
- Marketing Adjustment: Também analisando mídias sociais e de faturamento, o uso de Real-Time Big Data Analytics pode ajudar no ajuste de promoções, distribuição de produtos em canais de venda e público-alvo de uma campanha de marketing.
Real-Time e Near Real-Time
Observe agora portanto que o termo real-time é uma alegoria, uma vez que o tempo de resposta pode variar de acordo com os requisitos de negócio:
- Um carro autônomo preciso frear ou trocar de faixa de forma instantânea ao detectar um objeto na sua rota imediata
- Uma caldeira pode monitorar um aumento de temperatura acima do limite por alguns segundos antes de notificar a equipe de manutenção, desde que esse aumento não seja superior à um nível crítico pré-estabelecido
- Um banco pode aguardar alguns minutos antes de analisar e invalidar uma transação financeira considerada fraudulênta
Arquitetura
Em um ambiente de Real-Time Big Data Analytics os componentes essenciais são:
- Streaming: é a camada de ingestão de dados em alta velocidade, que serão posteriormente armazenados no Data Lake para composição de base histórica. Seus inputs podem ser aplicações, dispositivos IoT e integrações.
- Data Lake: no contexto de Real-Time Big Data Analytics o Data Lake tem a função de armazenar os dados históricos, os quais alimentarão os modelos de Machine Learning.
- Machine Learning: Nesta camada ficam armazenados os modelos de Machine Learning previamente treinados com os dados históricos do Data Lake.
- Real-Time Engine: é a camada que processará os dados vindos da camada de Streaming perante o modelo de Machine Learning, produzindo ações como notificações, tomadas de ações e insights.
Opções de Implementação
Algumas opções de implementações usando Amazon AWS, Google Cloud Platform, SAP e outras opções open-source podem ser obtidas no quadro abaixo:
