P. Mafra MendesConversar

Data lake no e-commerce: o time se conecta a ele, não às plataformas

Por Pedro Mafra Mendes · 4 min de leitura

No e-commerce, ninguém deve puxar dado direto da plataforma da loja ou do ERP, nem a IA. Os sistemas despejam a base bruta no data lake, que é tratado em camadas até ficar legível, e pessoas e agentes consultam por ali, com permissão. Assim você protege a regra de cálculo, respeita o limite de API e não derruba a loja.

Por que não deixar cada um puxar dado da plataforma?

Quando a empresa começa a usar IA, a tentação é ligar cada analista e cada agente direto no Shopify, no ERP, no sistema de troca. Funciona no primeiro dia e vira problema na primeira semana. Tenho três motivos para proibir isso.

O primeiro é a regra de cálculo. Faturamento parece um número óbvio até você perguntar o que sai dele: cancelado, devolvido, frete, cupom. Se cada pessoa puxa da fonte e aplica a própria regra, a empresa passa a ter cinco faturamentos.

O segundo é o limite de API. Toda plataforma limita quantas requisições você faz por segundo. A do Shopify, por exemplo, trabalha com um teto baixo por segundo. Já vi loja em que o sistema de troca, o próprio site e as rotinas de base bateram na API ao mesmo tempo e formaram fila. Coloque dez pessoas e cinco agentes consultando a mesma API e você cria esse engarrafamento todo dia.

O terceiro é o risco de derrubar o sistema que vende. Consulta pesada em produção, feita por alguém que só queria uma planilha, não deveria competir com o cliente que está tentando pagar.

Como funciona o data lake em camadas

A lógica é simples: cada sistema despeja a base bruta inteira em um lugar só, e esse lugar é tratado em três camadas.

  • Bronze: o dado cru, do jeito que veio da fonte.
  • Prata: as mesmas tabelas com colunas nomeadas e tipos certos, legíveis para gente.
  • Ouro: o dado calculado, com a regra da empresa aplicada, pronto para virar painel ou análise.

Pessoas e agentes acessam a camada que precisam, com permissão. O analista de compras lê o ouro de estoque. O agente que monta o relatório semanal lê o ouro de vendas. Ninguém encosta na plataforma.

Por onde começar a montar o data lake

Estes são os passos que costumo passar para uma marca que quer sair do zero:

  • definir a arquitetura do banco; gosto de começar pelo BigQuery, porque o controle de acesso lembra o de uma planilha compartilhada e o time entende rápido;
  • listar todos os sistemas da empresa e, dentro de cada um, as bases que existem;
  • puxar cada sistema na fonte, e não só pelo ERP que já está integrado com tudo;
  • organizar em bronze, prata e ouro;
  • priorizar três ou quatro sistemas e colocar de pé, com base pronta e acesso liberado para o time usar;
  • só depois cuidar do controle de acesso fino e de um painel da empresa.

A ordem importa. Muita empresa começa pelo painel bonito e passa meses discutindo permissão antes de ter um dado confiável. Prefiro três sistemas funcionando e o time usando a dez sistemas no papel.

Por que puxar na fonte e não só pelo ERP

O ERP costuma receber dado de quase tudo: loja, marketplace, logística. Parece o atalho perfeito. O problema é que você fica refém das integrações. Se a integração entre a loja e o ERP perde um campo, atrasa ou grava errado, o seu data lake herda o erro e você nem sabe onde ele nasceu.

Puxando cada sistema na fonte, você consegue comparar. Se o pedido está na loja e não está no ERP, isso aparece. Se o status diverge, aparece também. A integração vira algo que você confere, e não algo em que você confia às cegas.

Também já vi base de operação que existia só no computador de uma pessoa. No dia em que ela tira férias, a empresa para de enxergar a própria operação. O data lake resolve isso de quebra, porque a base passa a morar em um lugar da empresa.

Com que frequência atualizar o dado?

Essa é a pergunta que mais gera discussão e a que menos merece. Não existe frequência certa no abstrato. Eu decido pelo risco real: combino um padrão (uma vez por dia, de hora em hora), observo se aparece o sinal do problema e ajusto.

Estoque de produto com giro alto em semana de campanha talvez precise de hora em hora. Fechamento financeiro pode ser diário. Começar com uma regra e mudar quando o dado mostrar que ela não serve é mais rápido do que tentar acertar tudo antes de ter o primeiro dado no lugar.

Perguntas frequentes

Preciso de um data lake se minha loja é pequena?

Se mais de uma pessoa ou um agente de IA consulta dado de venda e estoque, sim. O começo pode ser pequeno: três ou quatro sistemas, uma camada ouro com faturamento e estoque, e acesso para o time.

Qual é a diferença entre as camadas bronze, prata e ouro?

Bronze é o dado cru da fonte, prata é o mesmo dado com colunas nomeadas e legíveis, e ouro é o dado calculado com a regra da empresa, pronto para painel.

A IA pode consultar o ERP direto?

Eu não deixo. A IA consulta o data lake, com a mesma permissão de quem a usa, para não aplicar regra de cálculo diferente nem estourar o limite de API do sistema.

Leia também