Transcrição automática do palco Plenária Tecnologia & Inovação, no evento Fórum E-Commerce Brasil 2026.
Janela (Brasília): 14:30 até 15:00.
Palestra provável nesse horário (agenda oficial, pode ter atrasado): Data-driven fulfillment: O papel da arquitetura de dados na otimização de prazos e custos logísticos
Nota editorial: material captado ao vivo pela redação do iMasters no evento (mesmo grupo, acesso oficial ao conteúdo dos palcos). A transcrição é automática — nomes próprios, números, siglas e citações podem conter erro de reconhecimento; confirme em fonte independente antes de afirmar. NÃO atribua falas a palestrante específico a partir deste material.
Transcrição:
O FTS é um warehouse que eu falei, e servindo aí o nosso look para as decisões de uma forma geral. O FTS é um investimento leve e que nós temos parte sob demanda, então aqui a gente acabava toando muito com a necessidade e as demandas que a gente tinha. E o FTS quer fazer todos os quilos, hoje em dia estamos com o FTS, orquestrando esse processo, levando para o FTS e sendo também uma rede de workflow. Essa arquitetura que a gente estava utilizando em logística e ainda utilizando na companhia, ela começou a ser construída acho que 8 anos até. Então é uma arquitetura que começou sendo feita na companhia, quando a companhia tinha mais ou menos 10 vezes a menos de tamanho, e ela acabou não sendo retirada no motor. Então a gente sempre foi adaptando ela, trazendo uma série de componentes, tentando ajustar conforme
Atenção da companhia, mas nunca se parou para olhar essa arquitetura como um todo e entender, ah ok, a partir de agora eu tenho efetivamente aqui um momento que eu vou parar, vou revisar, vou alterar. Então isso fez com que a gente acaba se dando um pouco difasado nas nossas informações e difasado no atendimento da área de negócios. Quando a saudade é negócio, não só a área de logística, mas a companhia como um todo. Seja área de transgresso, seja área de venda, seja área de atendimento ou nem isso. Que não é não. Logística é um dos corações do E-Commerce e ele acaba permeando a companhia como um todo. Quais são os impactos que a gente tem no estado atual que a gente veio trabalhando? Então, o primeiro ponto, a latência de B-1, a gente sempre estava olhando o repervisor, a decisão sempre estava sendo faltada no ontem, e sempre tinha,
Uma série de ações em real time para atender o nosso cliente. Tendo um exemplo aqui para vocês. É muito comum o sucesso do interior do E-Commerce. Em um país eu chego, em um país que eu estou forte, eu chego na casa do cliente e o cliente não está me dado. Quando você trabalha com produtos leves, isso é muito mais simples. Então, você faz compra de produtos pequenos dentro do E-Commerce. Temos um gás, consegue deixar com o vizinho, consegue passar pela caixa de correio, jogar pela de casa, talvez a mais parte de vocês aqui já tiveram essa experiência. Quando você trabalha com produtos grandes e volumosos, pegando o exemplo de um armário, onde você recebe seis volumes, cada um entre 35 e 40 kg, Você não tem como tomar uma ação, deixar no vizinho, necessariamente, ou largar na frente da casa do cliente. Você precisa ter um contato rápido. Você precisa tomar ação rápida que alguém consiga tentar falar com esse cliente que consiga tomar uma ação.
Então, a gente não ter essa informação rápida, alimentando um time de atendimento, alimentando uma torre de concreta, gera uma série de problemas internacionais. Uma complexidade muito grande, então, F1010, uma série de serviços customizados, fazem um tipo de tímido de dados, acabam estendendo um volume muito grande de tempo, e ele acaba soprando muito, tanto na evolução, barra manutenção do cenário de dados atual. Tanto, peça muito humoroso, tudo começa a ficar muito lento para se fazer. Aí, as reclamações em relação ao tempo definido do time de dados começam a ficar pesadas. Ah, tudo demora muito, tudo é muito lento. Ah, por que que você, qualquer coisa leva 2 semanas, 3 semanas para fazer? Porque essa complexidade faz com que você não consiga evoluir conforme necessário. Um outro ponto que impacta muito tanto no operacional como no custo é a questão de carga no
Então fazendo um full scan do JPC no banco, isso faz com que a gente acabe tendo uma carga extra ao longo das tabelas que estão sendo realizadas e levadas para o leito. Então nesse sentido, quando a gente tem aplicações que não tem um RO exclusivo para o uso de dados, para o distância de dados, Faz com que ela tenha uma competição dentro da CRO junto com todo o contexto da operação que faça com que em alguns momentos você acabe impactando na produtividade do Lighting porque as aplicaciones começam a ficar lentas. O custo fixo alto, então, que além da questão das oito máquinas posicionadas no Redshift, então isso faz com que a gente efetivamente acabe... Perdição de um pouco de dinheiro, que também fizeram para o seu viaço lá. Software e conteúdo de diversão, que são espaços de ordem sem relacionamento simples e nem auditoria.
Então, isso acaba criando até uma dificuldade muito grande quando a gente precisa fazer um rollback de alguma ação, que a gente consiga, de novo, entender algo que mudou nos últimos três, quatro, cinco semanas, e acaba criando mais impacto em um time de dados e uma governança dispersa. Então, quando eu tenho metadais de cunhagem espalhada em diversos pontos e diversos sistemas, isso faz com que eu tenha mais uma dificuldade em um time de dados dessa governança E também uma dificuldade maior em levar de uma forma mais simples a informação para o negócio como um todo. Olhando aqui a nossa arquitetura de dados, trabalhando em um processo muito difícil, simplificação e evolução. Então, a gente acabou mudando a nossa cloud, a gente fez uma certa estuda, entendeu que a mudança de cloud para o Lake House estaria muito sentido. Então, a gente começou esse processo de ligação, e esse processo de ligação foi apoiado
Tanto pelo provedor de cloud, foi o controle de variables especializadas ali, indicadas por ele. Existe uma mudança, onde a gente tem o Data Stream, fazendo CPC, o Data Flow, que vai ativar, Sub-Cirpit, que é o seu diferente, Cloud Run, que é um decodal, que eu me mostrei nos próprios. Tudo isso aí dentro da chamada Browns. Então a chamada Browns, ela começa a ter a informação real e idêntica que a gente tem na tabela. Tudo isso vai ali na camada 12, no parque, na distância. Isso é levado para a camada Silver, a gente tem um Data Form, fazendo já o primeiro alinhamento diferente a questão de computados. No final, a gente faz uma referência para a nossa camada Gold, que é onde a gente tem aqui API efetivamente formatados, onde a gente tem os dados curados e confiados. Vou abordar mais um pouquinho pra frente sobre os impactos positivos que a gente tem com essa chamada Gold.
e o quanto a gente consegue acelerar a instalação das áreas de negócio como um todo. Nessa nova arquitetura, a gente tem aqui uma série de novos componentes, então mudamos a cloud, mudamos as tecnologias, mudamos todos os componentes. Então a gente tem o bug-suffing recebendo eventos de plantação de fértil, instituindo o CNIC, Temos o DataFrame fazendo replicação do CDC nos bancos MySQL alimentando o BQ na camada Browser. Temos o DataFlow fazendo a ingestão do batch MySQL, tendo aqui toda a parte do GCS com parquetes de opções gerenciadas. O BQ sendo o nosso Warhouse, já consolidando a nossa arquitetura medalha. DataFlow fazendo os transformações de SQL versionadas, de Silver Pergold. Temos que irá a casa, mas o que é que está a casa, o que é que está a casa, o que está a casa, o que está a casa.
Temos uma redução para praticamente 1 quinto das leves que a gente tinha. Então, voltando, isso para o time de dados, acaba trazendo um ganho de produtividade, muito grande, muito significativo. E o DataPlex fazendo a ponto para se ter com o legado, fazendo a segurança do cliente. Aqui um ponto que é extremamente relevante. Temos que não sejam bem, seja dentro da parte de dados na logística e muito dentro da companhia como um todo. Então, a gente utilizou primeiro os dados da área logística, que era onde a gente tinha o maior problema, estamos dirando, uma certificidade em relação à necessidade de uma alteração e a gente veio fazendo uma migração gradativa. Então, a gente vai tirando filhos a filhos de dados, filhos de evidências, e conseguindo fazer uma transformação gradativa, atraindo o que o Luiz falou na sua jornada, para isso, e esse ponto de formação,
Temos que empatar o nosso profesional e ter aí essa migração dos dados logísticos como um todo. Porém, eu ainda tenho a convivência com os demais dados da companhia no legado e, querendo ou não, todos os dados que existem de conversar. Então, a gente precisa hoje fazer um processo muito forte nesse contexto de organização e alinhamento entre a arquitetura legada e a nossa arquitetura. Então, aqui fazemos um depara direto da nossa obrigação, então, o nosso Kynise virou diretamente o Putscub. Firewall vira em um contexto um pouco maior, onde a gente tem o Putscub e fazendo gestão indireta no PQ. O S2Pace, ele cai junto com o DPS, mais o T2Pace no BQ. O X6Pace, diretamente, né, o warehouse for warehouse, porém, com a arquitetura da medalha. T3Pace vai se parte, dando data flow com data forming. O workflow, que é o WPAC, que é o WPAC, que é o WPAC.
Sendo substituído pelo Cloud Composer. E-C-S, e-N-E-S, sendo substituído por DataFold, DataStream e Caldram. S-C-S, sendo substituído pelo Composer, mais o percentual. E o LUTHER, no Redshift, sendo substituído pelo LUTHER no B-Square, olhando exclusivamente a camada Gold. Aqui tem um ponto, já interessante, que fica um pouco mais simples de ver na arquitetura. Eu reduzi a nossa quantidade de componentes que fazem todo esse trabalho de arquitetura de dados. Então, eu vi diversos pontos aqui que eu acabo repetindo alguns componentes, algumas tecnologias, que eles efetivamente conseguem conectar as informações e trazer isso de uma forma mais rápida, mais efetiva e com menos custo para a companhia. O que que a gente ganhou com essas mudanças para a nova arquitetura? Temos uma coisa. Eu deixo de ser uma lastigação.
...diária, exceção D-1, eu começo a ter um CDC contínuo, trazendo dados e minutos para o que se faz necessário na companhia. Então, reforçando, a gente vai avaliar aqui no custo, entender o que eu preciso de dados via real-time, o que eu posso ter de algumas horas, e o que eu vou trabalhar com D-1, D-7, D-30. Eu reduzo muito a complexidade, 110 tags até 22 tags. Eu paro de fazer o Full Scan diário no banco, e eu começo a ler o Pinlog, então eu não preciso mais debagar o banco durante esse processo. Isso também me ajuda no processo de redução de custo, onde os contextos que eu tinha, fazendo o Full Scan na tabela, eu tinha um RO específico para dados, Eu pude marcar esse arreio específico e ter um ganho na minha arquitetura legada, fazendo com que eu não conheci demais na minha aplicação,
Temos uma máquina específica, aqui, uma realização de dados para a máquina, para que eu não tivesse parte da minha operação. O Redshift Chilling Site, do provisionamento de evento nosso, e eu começo a ter um server, um backend server, com out-space. Então, isso, no meu período de stacionalidade, fazendo a comparação um versus o outro, eu já consigo ter uma economia que quer esse modelo de significativo. Eu tenho essa transformação do Spark Jobs que eu tenho a form com o SQL direcionado e altifágio. O cenário de cotações está muito mais simples. Eu tiro 5 componentes que eu tenho fazendo esse processo e eu transformo ele basicamente com 2 componentes. Então eu tiro uma série de pontos de fechadão no caminho e faço com que eu consiga ser muito mais efetivo e ter menos pontos de afeito, menos pontos de risco. E eu tenho a governança, onde minha governança era muito mais dispersa, agora eu consigo ter isso de uma forma muito mais rápida.
O nosso catalão de dados, medalhão, uma curadoria muito mais efetiva como um todo. O meu data stream fica muito efetivo, pautado no seu percurso. Então quando eu olho, eu tenho hoje 13 streams de serviços ativos, aonde puxa 99 tabelas replicadas. Então eu não preciso que eu vejo 100% da minha base, mas eu entendo que isso daqui é o que vai alimentar a necessidade da companhia. Eu consegui fazer essa informação hoje em tempo médio de 15 minutos. Eu falo 15 minutos porque eu tenho alguns contextos mais rápidos, outros um pouco mais lentos, conforme a necessidade. E eu tenho pipeline reduzido perfeitos serviços como o Intorno. Porém, fazer tudo isso não foi fácil. O nosso time de dados acabou sofrendo bastante para definir, para entender e para conseguir efetivamente tirar isso do papel e transformar isso em realidade. Então, é...
Como é que é isso? Eu tenho sistemas feitos há muitos anos, eu tenho sistemas feitos há 8, 10 anos atrás, e arquitetos dados também criados há muito tempo. Em Paísa Era Muito Menor, a gente não tinha necessariamente documentação feita, uma documentação realizada, então a gente não tinha conhecimento total sobre os sistemas legados. Aqui agradecemos toda a evolução da IA que a gente teve no momento, que ajudou muito a gente a quebrar esse leste de conhecimento que a gente tinha, fazer com que a gente conseguisse tomar algumas decisões ou ter algumas informações mais rápidas para conseguir fazer efetivamente esse processo de migração. A gente teve alguns erros iniciais na definição da nossa arquitetura, então mesmo a gente sendo direcionado e fazendo um trabalho em conjunto Temos uma empresa especialista nesse processo de mediação indicado pelo provedor de cloud. Nós não conhecíamos a tecnologia de uma forma avançada e eles não conheciam a nossa rede.
Temos que ter uma realidade de uma forma avançada. Então, as decisões iniciais foram erradas, foram incorretas, a gente teve que parar, sentar de novo, revisitar, jogar basicamente um metro fora desse trabalho e aí sim endereçar o que a gente tinha e conseguir ter a tomada de decisão correta. E teve uma curva de aprendizado do time nas novas ferramentas. Então, era o time totalmente acostumado com uma inspecência específica. Temos que esse time tem que começar a aprender no aplicar, querendo ou não. Você tem todo um poder de adaptação, mesmo conhecendo a teoria, conhecendo o funcionamento, não é simples. Temos que fazer isso e garantir a coexistência da arquitetura. Então essa coexistência, quando eu estou olhando dentro do mesmo contexto de dados, olhando a logística como um todo, eu tenho o time trabalhando de duas formas diferentes. Eu estou com o time jogando futebol e vou ler o mesmo tempo. Então o pessoal tem que se equilibrar nesse dia a dia, fazer a migração sustentável.
Tental novo, sustentável, antigo, e todo esse processo, ele é árduo durante o andamento, mas depois com certeza nós conseguimos colher aí os benefícios. Então quando a gente fala em grandes concretos aqui, eu consigo trazer alguns exemplos já para compartilhar com vocês. Então, dados que eu venho ao site, a gente consegue trazer informações para a forra de controle que agora está vendo o que acontece. A torre de controle consegue efetivamente auxiliar o empregador, ela consegue efetivamente fazer algumas informações que permitisse que esse serviço seja muito mais efetivo quanto o cliente. Eu tenho um menor impacto na produção, então quando eu deixo de ler 81 tabelas no FU-CAM, eu consigo fazer com que as minhas aplicações não sejam degradadas e meu custo seja menor. Eu tenho integridade total da informação, quando eu estou fazendo toda a transferência de informação para o...
Essa é a minha camada bronze de dados. Então eu deixo de ter gaps, seja de colunas de tabela, seja de minhas de tabela, e eu consigo ter uma confiabilidade muito maior da informação que eu tenho. Então quando eu consigo reduzir também tags, print streams, eu consigo ter uma incentividade, uma redução de pipeline, fazendo com que me área de dados, também consigo focar em regras de negócio. Então eles conseguem entender mais as regras de negócio, aprender um pouco mais sobre isso. Eu tenho um modelo híbrido, onde CDC atende a latência de importância, que eu comentei com vocês, e eu tenho 7 anos rodando, porque eu vou precisar em B-1. Caminho direto, reduzindo aí 6 e 7 ferramentas para chegar, se mudar o final, até 6 e 10. Eu tenho menos pontos de inscrição, menos pontos de falha e menos contato para conseguir atender. Eu falo contato, todos os contatos dentro do sistema. Quando eu olho as áreas de negócios,
Aqui, quem é de e-commerce sabe qual é a dificuldade de você aumentar em 3 pontos percentuais do SLA na carreira. Então, isso é discussão diária na companhia, tem até reporte semanal disso, que é todo o corpo executivo da companhia, e a gente conseguiu ter um ganho de 3 pontos percentuais com uma série de ações que foram feitas depois que a gente começou a ter os dados curados, os dados mais confiáveis, Temos um cenário pre-intitivo, mas, de um cenário pre-intitivo, de uma forma efetiva, e também conseguimos trazer informações muito mais rápidas no atendimento do cliente. Temos um conjunto de pessoas que não conseguem ver alguns pontos de até alto,
Ele começa a ou tomar ações ou comunicar o cliente de uma forma antecipada. Redução do tempo de atendimento ao cliente. Então, quando eu pego informações real-time do time de atendimento, time de check, ele consegue ser muito mais efetivo. Então, quando eu tenho um cenário, por exemplo, o empregador, o pessoal não pega o armário de seis volumes e ele pegou um volume incorreto. Ele pegou um volume de uma outra empresa desse armário. Então, ele pegou cinco volumes corretos e incorretos. O cliente percebeu na hora, 15 minutos depois ele foi lá, olhou e ia ter contato com nossos atendimentos. Você tendo atendimento vai poder entender quem é o motorista que fez essa entrega, ou ele, ou a nossa torre de controle, que tem contato com o motorista para a gente conseguir fazer essa devolução, fazer essa substituição pelo rumo incorreto. Então, isso é uma instalação muito rápida para que a gente possa ter um serviço melhor prestado. Tendo o curso de atendimento, tendo as informações que conseguem ser usados,
Temos informações corretas, consolidadas. A gente conseguiu fazer assim que o nosso bote seja muito mais efetivo no atendimento. Então a gente tem um trabalho muito grande em conseguir crescer a retenção do atendimento no bote com qualidade. Quando eu falo com qualidade, hoje a nossa nota de atendimento do bote, ela consegue ser superior à nota do atendimento humano. Por quê? Todo mundo odeia falar que o bote não resolve nada. Mas a gente precisa ter informações corretas para que o nosso bote efetivamente seja rápido ou presente, Então, a gente conseguiu evoluir muito nesse sentido. Redução de perdas, então informações mais naturadas trabalham na evolução de perdas, e pregação de perdas. Simplificação de processos. Dados naturados ajudam a comprovar os ganhos de mudança. Então, teve alguns processos que a gente discutia por anos, tá? Vai continuar, não vai continuar, não vai continuar. Temos que ter outras tomadas de decisão ao longo do caminho, e a gente conseguiu ter a visão muito rápida
...que as mudanças de processos que a gente teve ao longo dessas jornadas foram efetivas e estão trazendo benefícios para a companhia e para o Plen. E uma análise de custo logístico, onde a gente consegue ter uma informação consolidada, muito mais efetiva, e consegue trazer essa visão para a companhia para que ela possa tomar ações, seja em contratações antecipadas ou seja, em negociações melhores olhando rota de uma forma geral. Além disso, a gente tem uma aceleração do usuário. Com os dados organizados, a gente consegue tomar uma série de ações que a gente ou não conseguia ou era extremamente inefetivo nesse cenário. Então, o contexto aqui que a gente trabalhou muito junto com o nosso Lig de Dados foi a questão de reprogramação de data. Infelizmente, a gente não consegue acertar sempre quando a gente fala da data que vestiu no frente. Existem falhas ou intercorrentes, como caminhão quebrou, uma rodomia fechou, alguma coisa assim. Agora a gente consegue, através da rede,
Temos que, daí, a salvar de dados históricos, já ter uma retenção data efetiva que alimenta o bot do cliente, apesar do nosso próprio bot, já consegue ter essa informação rápida e furada. Otimização de teste. A gente tem melhores oportunidades de uso logístico, com base em múltiplos fatores de entrega. E há uma série de responder pra gente quais são os melhores corredores, qual que é a nossa antecipação que a gente pode fazer, Onde a gente vai ter um tipo de entrega e como a gente programa para que a gente tenha entrega sem ter que fazer a contratação emergencial de país. Predição de aumento de pálpebra, então a gente consegue entender a necessidade ao longo da nossa cadeia e consegue trabalhar isso de uma forma muito mais efetiva com as predições envolvendo IA. E alerta de frequência de pálpebra. Então, a IA, com as informações que eu vi hoje, consegue auxiliar muito a gente. E o que eu digo, gente? Ah, eu começo a ter muito servio em determinada roça, em determinado CD. Eu começo a ter muito servio em determinada roça, em determinado CD.
O cancelamento de pedido vindo de uma determinada região. O quanto isso impacta pra gente e qual é a proteção de carros que a gente vai ter. Então a gente conseguiu, ao longo dessa jornada, construir essas informações e conseguir efetivamente fazer uma visão mais rápida e efetiva pra companhia. Onde a gente até melhora o nosso cliente e também traz uma série de feitos que nos temos pra companhia no todo. Bom, pessoal, era isso que eu queria dizer pra vocês. Eu acabei estourando aqui um pouquinho tempo, eu não sei se a gente vai conseguir abrir minha pergunta, aí só vendo com o pessoal do e-commerce aqui, se a gente consegue... Temos uma pergunta para o pessoal.
Perguntas, perguntas... Deixa eu fazer um... Felipe, a gente estava conversando um pouquinho, a importância é que dados é a base para fazer qualquer trabalho de IA, mas também dá dificuldade de fazer um time de negócios e até mesmo um time de tecnologia, agotar toda a governança de dados, né? Qualidade dica para o pessoal de falar assim, cara, se está passando por esse processo de transformação, três pontos aqui, ou dois pontos que, na sua dura experiência de estar vivendo isso, você orientaria o pessoal a seguir? Bom, um ponto aqui, eu aconselho, quando a gente não vai fazer uma liberação, não vai fazer uma cifra de dados, usando IA para as áreas de negócio, até a gente não vai cobertando ali sobre ela, Temos que fazer uma questão de trabalho, mas só conectando o voo do cliente.
Então, a gente fazia a liberação de uma IA conectando um BG somente em dados de outro. Por que? Você já tem dados curados, você já tem informação concíta, uma informação que ela vai trazer aqui em uma evolução e um avanço da companhia. Temos que tira o risco de levar informações que ainda não estão efetivamente consolidadas e que vão tomar uma decisão incorreta em relação a informação que ela está recebendo. O segundo ponto é a organização do catálogo de dados. Como um catálogo de dados muito bem consolidado pode ajudar a gente a preparar esse negócio de saber como coletar essa informação através da IA e como utilizar essa informação. Eu acho que eles são dois pontos que conectam muito a área de negócio diretamente ao dado. Então, esse último ponto que o Bruno comentou, pra quem estiver trabalhando com código old, Google, batendo direto em bancos com data warehouses,
... sugestão, criar um Mindkill que orienta o prod, ou o donut, a como trabalhar. A gente estava conversando um pouquinho antes, mas nós não estamos passando pela mesma situação. E eu só consegui fazer o time, conseguir trabalhar direito, porque o Pleniclay, por exemplo, é uma base de candela. O pessoal não tem a obrigação de saber onde é que está o dado de margem, onde é que está o dado de tal. E lógico também, se ele não tiver, por exemplo, um data-for, um data-quera bem preenchido. E se você conseguir orientar ele através de uma skill, por exemplo, facilita a vida muito, né? Absolutamente. Uma pergunta aqui? Pode falar. Maru. Termos comuns e, por favor, sejam bem-vindos. Obrigado, Jan, e-mails, em Cíberce, que me agradeceram em Cibersegurança. Eu queria saber em você o quanto a Cibersegurança se dá a gente.
É importante pra essa questão toda. Ela é extremamente importante. O foco aqui foi logística tudo. Quando a gente olha aqui no cibersegurança, a Terra tava conversando, segundo a outro texto do nosso Red de Segurança na companhia, Estou dando uma escalada de prob