Engenharia de Dados [Cast]

IA, Carreira e o novo dia a dia do Engenheiro de Dados

Em que momento a IA deixou de ser uma curiosidade e passou a mudar, de verdade, o jeito de trabalhar com dados? Neste episódio do Engenharia de Dados Cast, Lucas Tancredi recebe Rafael e os profissionais da DataShip Anthony Lucas e Vinícius para uma conversa sobre carreira, produtividade e o uso de IA no dia a dia. Anthony conta como conseguiu construir em menos de um mês um pipeline que, no modelo tradicional, poderia levar meses e exigir uma equipe inteira. Vinícius fala sobre sua experiência com Spec-Driven Development, usando reuniões, notas e requisitos como ponto de partida para desenvolver com mais velocidade e menos retrabalho. Rafael compartilha o que aprendeu em projetos de aceleração de IA com a Microsoft, inclusive assumindo tarefas que antes dependeriam de especialistas de áreas diferentes. A conversa também entra nas perguntas que muita gente da área já está fazendo: O que muda na carreira de quem trabalha com dados? Quais habilidades passam a valer mais? Como usar IA sem terceirizar o raciocínio? Até onde uma pessoa consegue chegar com agentes e bons processos? O que acontece com os times quando um profissional passa a executar o trabalho de vários papéis? Não tem papo de que a IA vai resolver tudo, nem previsão apocalíptica sobre o fim da profissão. Tem experiência real de quem já mudou o próprio workflow e está entendendo, na prática, onde a IA ajuda, onde ainda falha e por que saber trabalhar com ela está virando parte do ofício. Se você trabalha com engenharia de dados e ainda trata IA como algo para "ver depois", este episódio pode ser a sua virada de chave. Lucas Tancredi - Linkedin Rafael Rodrigues - Linkedin Antony Lucas - Linkedin Vinicius Peres - Linkedin Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Transcript
• Chapters

Agentic Engineering: Do Loop à Fábrica Autônoma

Prepare-se para uma conversa direta sobre a disciplina que está silenciosamente substituindo a engenharia de dados como a gente conhece, e que ainda não tem nome no mercado brasileiro. Neste episódio, Lucas Tancredi e Luan Moreno discutem, sem rodeios, por que Engenharia Agêntica não é prompt engineering glorificado, o que mudou de verdade no workflow de quem já está construindo sistemas autônomos, e como o Data Engineer chegou ao centro dessa transformação. O que você vai aprender neste episódio: Por que o medo não desaparece mesmo pra quem já constrói sistemas agênticos há dois anos, e o que isso diz sobre a velocidade do que está acontecendo. O que o Karpathy quis dizer com Software 3.0 e por que isso muda a forma como você pensa sobre o seu trabalho com dados hoje. As 5 camadas da Engenharia Agêntica (Prompt, Context, Harness, Loop e Eval Engineering) e por que a maioria das empresas ainda investe tudo na camada menos importante. O que é uma Dark Factory e como um sistema de 42 agentes fez em 6 meses o que um time de 7 pessoas levou 3 anos pra tentar, e ainda encontrou um bug de 137 mil dólares que ninguém havia visto. Por que você não vai ser substituído pela IA, mas pode ser substituído por alguém que a usa melhor do que você, e o que isso significa pra quem está no mercado agora. Este não é um episódio sobre ferramentas. É uma conversa sobre por que esse momento não vai esperar você estar pronto. Lucas Tancredi - Linkedin Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Transcript

A Morte do Data Engineer e o Novo Horizonte

Prepare-se para uma conversa direta sobre o que está mudando na Engenharia de Dados e o que nenhum relatório de mercado vai te contar. Neste episódio, Lucas Tancredi recebe Luan Moreno e Rafael Rodrigues para discutir, sem filtro, por que o Data Engineer pode estar se tornando obsoleto e o que os profissionais precisam fazer agora para não ficar para trás. O que você vai aprender neste episódio: Por que a tecnologia é cíclica e como usar esse padrão a seu favor antes que o mercado te pegue de surpresa. O que está mudando na Engenharia de Dados e por que adaptar o título no currículo não resolve o problema real. Por que dominar os fundamentos da tecnologia vale mais do que correr atrás de qualquer ferramenta nova. Como a comunicação eficaz se tornou uma vantagem competitiva real para quem trabalha com dados e IA. O que o mercado está pedindo agora e como alinhar sua mentalidade a essa nova demanda antes que ela se feche. Este não é um episódio sobre ferramentas. É uma conversa sobre o que separa os profissionais que vão liderar a próxima fase da IA dos que vão ficar esperando a próxima onda passar. Lucas Tancredi - Linkedin Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Transcript

Era dos Agentes: Refatorando InfraView com Claude Code e Lakeflow

Um pipeline monolítico de 5.000 linhas. Sete notebooks acoplados. Dez chamadas de API dentro de definições DLT. O que acontece quando você coloca quarenta agentes de IA especializados nesse problema e dá um prazo de três dias? Neste episódio da série Era dos Agentes, exploramos a refatoração completa do pipeline de dados do InfraView: de um monolito no Databricks para uma arquitetura limpa de três camadas, usando AWS Lambda, Lakeflow Declarative Pipelines e Databricks Asset Bundles. A história começa com um problema real: a infraestrutura que sustentava a cobrança de clientes era frágil, não escalável e impossível de testar. Um timeout de API às duas da manhã derrubava o pipeline inteiro. Doze constantes críticas de threshold estavam espalhadas como números mágicos por cinco arquivos diferentes. Ninguém conseguia provar que as fórmulas estavam corretas. Na segunda sessão, o projeto quase parou. Um bug não documentado no motor DLT: o decorator dp.table em Python, com nomes fully qualified, quebrava a resolução do grafo JVM em pipelines multi-schema. Foram três a quatro horas de debugging. Sete abordagens falharam. Até que surgiu o Padrão Híbrido SQL+Python: notebooks Python criam views temporárias com dp.view para a lógica complexa, e notebooks SQL registram as tabelas finais com CREATE OR REFRESH. O DLT processa tudo como um único grafo de computação. O clímax é a validação em escala de produção: 920.676 registros reais de OTel processados simultaneamente pelos dois pipelines, legado e novo. 822 milhões de linhas Silver geradas. O resultado: InfraRating (risco e otimização) com 100% de match exato em 42.640 comparações. Performance de 38 minutos no serverless contra 90 minutos no clássico: 2,3 vezes mais rápido, com dados idênticos. O novo pipeline encontrou 68 hosts onde o legado encontrava apenas 14. Não é só equivalente: é melhor. Como foi construído: uma pessoa de engenharia trabalhando com Claude Code e quarenta agentes de IA especializados: lakeflow architect, spark specialist, code reviewer, lambda builder, medallion architect. Seis sessões ao longo de três dias. 1,8 milhão de tokens de raciocínio colaborativo. Tecnologias: Claude Code, Databricks Lakeflow, Unity Catalog, AWS Lambda, SAM, Databricks Asset Bundles, PySpark, Spark SQL, Auto Loader e Delta Live Tables. Este episódio foi gerado com NotebookLM a partir de fontes produzidas por agentes de IA especializados. O conteúdo que você ouve é o produto direto da era agêntica em ação. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

De DBA a Lead Data Engineer: a Jornada de Luan Moreno na Engenharia de Dados

Neste episódio, Luan Moreno compartilha sua trajetória na área de dados, desde suas origens como DBA até sua ascensão como Lead Data Engineer. Ele discute a importância da formação, certificações e a transição para a engenharia de dados, além de compartilhar experiências interessantes em sua carreira, como o trabalho no lançamento do GTA V. Luan também enfatiza a relevância da comunidade e do networking, bem como a necessidade de soft skills, como comunicação, no ambiente de trabalho. Ele apresenta sua metodologia de aprendizado, o método GEAR, que combina teoria e prática, e reflete sobre a pressão e o estresse no trabalho, destacando a importância de ter suporte e mentores. A comunidade é essencial para o crescimento profissional. A formação acadêmica é uma das várias formas de alcançar o sucesso. A pressão inicial na carreira pode moldar a forma como lidaremos com os desafios futuros. A comunicação é uma habilidade crucial no mercado de trabalho. A metodologia GEAR combina teoria e prática para um aprendizado eficaz. A constância no estudo é fundamental para o sucesso. Mentores podem acelerar o aprendizado e a carreira. Projetos solicitados são oportunidades de aprendizado. Networking é vital para oportunidades de carreira. A velocidade das mudanças tecnológicas exige adaptação constante. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Transcript
• Chapters

Desenvolvimento em Kubernetes

Neste episódio do Engenharia de Dados Cast, Vitor Ramos e Victor Grudtner discutem com o convidado Matheus Nogueira sobre a experiência prática com Kubernetes, abordando desde a introdução à ferramenta até desafios enfrentados em produção. O convidado compartilha dicas sobre como começar a estudar Kubernetes, a importância da observabilidade e a cultura de trabalho em equipes que utilizam essa tecnologia. Além disso, são discutidos os desafios da arquitetura distribuída e a necessidade de um planejamento cuidadoso para evitar problemas financeiros e operacionais. Matheus Nogueira compartilha suas experiências e dicas sobre o uso do Kubernetes, abordando desde a importância de evitar o namespace padrão até a comunicação eficaz entre equipes técnicas e de negócios. Ele discute o futuro do Kubernetes, destacando sua relevância e as tendências emergentes, além de oferecer recomendações práticas para otimização de containers e automação de testes com inteligência artificial. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Data AI Sunset Meetup Brasília - O Futuro da Engenharia de Dados, Comunidade, IA e Carreira

Prepare-se para uma imersão nos bastidores do mais recente encontro de engenharia de dados em Brasília e descubra as tendências que estão moldando o futuro da área. Neste episódio, Vitor Ramos conversa com Wesley Outeiro e outros participantes para compartilhar os principais insights e aprendizados do evento presencial, organizado pela Engenharia de Dados Academy e como palestrante Luan Moreno. Uma conversa sincera sobre a importância das interações presenciais, a evolução da comunidade de dados e o impacto da Inteligência Artificial no dia a dia dos profissionais. O que você vai aprender neste episódio: A importância do networking e da comunidade para o crescimento pessoal e profissional na área de dados. Como a interação presencial em eventos potencializa o aprendizado e a colaboração. As principais tendências em dados e IA que estão criando novas oportunidades e desafios para o mercado. Por que o domínio dos conceitos fundamentais é mais crucial do que nunca para o sucesso na engenharia de dados. A relevância de FinOps para a gestão eficiente de custos de nuvem em projetos de dados. Reflexões sobre como a dinâmica de eventos e a troca de conhecimento estão evoluindo. O poder de se conectar com líderes da indústria para se inspirar e motivar sua carreira. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

The Data Engineering & GenAI Era: Insights with Eduardo Ordax

O Impacto da IA Generativa no Presente e Futuro dos Dados Prepare-se para uma conversa de altíssimo nível sobre como a Inteligência Artificial Generativa está transformando o mundo dos dados, das empresas e das carreiras. Neste episódio, Luan Moreno recebe Eduardo Ordax, Líder de IA Generativa na AWS, e Mateus Oliveira para discutir, sem rodeios, os impactos reais da IA no mercado. O que você vai aprender neste episódio: Como a IA Generativa está mudando a forma como construímos pipelines, produtos e soluções de dados. Os principais desafios que empresas enfrentam ao implementar GenAI — e por que tecnologia não é mais o problema, mas sim pessoas e dados. O papel da Engenharia de Dados no mundo da IA e como ela se conecta com conceitos como LLMOps, Fine-Tuning, Prompt Engineering e Data-Centric AI. Por que o domínio dos fundamentos nunca foi tão importante para quem trabalha (ou quer trabalhar) com dados e IA. Reflexões sobre o futuro das carreiras em dados e IA — será que os engenheiros de dados, cientistas de dados e desenvolvedores serão substituídos ou terão um papel ainda mais relevante? As diferenças entre usar IA para brincar no ChatGPT e levar IA para resolver problemas de negócios no mundo real, em escala e em produção. Este é um papo sobre IA. É uma imersão completa sobre os desafios, as oportunidades e a visão de futuro para quem trabalha com dados, engenharia, machine learning e inteligência artificial. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Como é Trabalhar com Apache Spark na Visão de uma Engenharia de Dados Iniciante

No episódio de hoje Mateus Oliveira entrevistou Ananda Ellen (Engenharia de Dados), Leonardo Côco e Victor Grutner, integrantes do time de dados da One Way Solution. Spark e Engenharia de Dados para Iniciantes, são tópicos extremamente relevantes nos dias de hoje, afinal, todos nós fomos iniciantes um dia. Nesse bate-papo conversamos sobre quais desafios e conquistas temos durante o aprendizado de Apache Spark. Não somente isso, falamos também sobre a área de Analytics na visão do Leonardo e do Victor, consultores da One Way Solution. Neste podcast iremos falar sobre: Área de Analytics Apache Spark para Iniciantes Esse podcast tem como principal intuito mostrar os desafios que os profissionais iniciantes na área de dados tem em comum, e como você pode se sobressair nestes desafios, com experiências de quem já passou por isso. Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

O Dia a Dia de um Analytics Engineer com o Time de Dados da Clicksign

No episódio de hoje Mateus Oliveira entrevistou Alessandro Gums (Analytics Engineer), Bruno Bento (Analytics Engineer) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Analytics Engineer se tornou uma grande thread do mercado e também uma necessidade nas empresas de hoje. fazer o split das responsabilidades de uma determinada área é comum e isso tinha que acontecer na engenharia de dados, devido a complexidade dos processos e necessidades de especialistas. Neste bate papo iremos falar sobre: Analytics Engineer Modelagem de Dados nas empresas Esse podcast tem como principal intuito mostrar o dia-a-dia dos Analytics Engineer nas empresas para que você, aspirante a esta área, entenda o exercicio da profissão na realidade. Além disso, queremos demonstrar o quanto esta profissão vem crescendo e expandindo em grandes empresas como Clicksign. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Alessandro Gums (Analytics Engineer):https://www.linkedin.com/in/alessandro-gums/ Bruno Bento (Analytics Engineer):https://www.linkedin.com/in/bruno-pereira-bento/ Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

O Dia a Dia de um Arquiteto e Engenheiro de Dados com o Time de Dados da Clicksign

No episódio de hoje, Mateus Oliveira entrevistam Franklin Ferreira (Arquiteto de Dados) e Vinicius Gasparaini (Engenheiro de Dados), ambos integrantes do time de dados da Clicksign. Arquitetura de Dados & Engenharia de Dados, são áreas que estão ganhando muita tração nos últimos anos, entender como elas funcionam dentro de uma empresas data-driven é, não só um dos melhores metódos de estudo de mercado, como também escolha de qual caminho seguir. Neste bate papo iremos falar sobre: Arquiteturas de Dados Engenharia de Dados Esse podcast tem como principal intuito entender melhor como criar e evoluir arquiteturas de dados para melhor atender o negócio e como a engenharia de dados é usada dentro das grandes empresas, indo além de tecnologias e falando de metodologias e processos. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Vinicius Gasparini (Engenharia de Dados): https://www.linkedin.com/in/vngasp/ (editado) Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Data Analytics com o Time de Dados da Clicksign

No episódio de hoje, Leonardo Souza & Mateus Oliveira entrevistam Filipe Mubarac (Analista de dados), Acácio Komesu (Analista de BI), Levi de Carvalho (Analista de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados e analytics da Clicksign. Data Analytics sempre foi um das principais áreas dentro de uma empresa. Nos últimos anos, com certeza, passou de uma área de apoio a tomada de decisão a uma área core da empresa, pois o mundo hoje é data-driven, e tornou-se uma questão competitiva produzir e ler dados em grande escala, além de analisá-los para decisões usando Machine Learning, NLP e Generativa. Neste bate-papo iremos falar sobre: Data Analytics; Analytics e Business. Este podcast tem como principal objetivo mostrar como as empresas constroem suas áreas de dados e analytics no dia a dia, como se tornar um profissional atrativo para empresas data-driven como a Clicksign, e como alinhar tudo com o business da empresa. Linkedin do time Clicksign Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Filipe Mubarac (Analista de Dados): https://www.linkedin.com/in/filipemubarac/ Acácio Komesu (Analista de BI): https://www.linkedin.com/in/ac%C3%A1cio-komesu-14b244b5/ Levi de Carvalho (Analista de Dados) :https://www.linkedin.com/in/levidecarvalho/ Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Desafios na Construção de uma Plataforma de Dados no Kubernetes com o Time do Orion

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistam o time do Orion da One Way Solution. Plataforma de Dados no Kubernetes é um dos tópicos mais pedidos para falarmos aqui no Podcast, principalmente para quem tem a necessidade de uma plataforma agnóstica a cloud e de baixo custo. Neste bate papo iremos falar sobre: Nas trincheiras da consultoria; Aprendendo Kubernetes; Plataforma de Dados no Kubernetes. Esse podcast tem como principal objetivo mostrar os desafios de criar uma plataforma customizada usando open-source. LinkedIn do time Orion Site da One Way Solution Strimzi MinIO Airflow Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Gestão & Produtos de Dados com o Time de Dados da Clicksign

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Thiago Rocha (Scrum Master), Marco Coimbra (Data Product Manager), José Ivamotto (Head de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Gestão & Dados com Produto são tópicos extremamente relevantes nos dias de hoje. Falar sobre dados sem se preocupar com a gestão, pode trazer impactos negativos às entregas envolvendo dados nas organizações. Além disso, entender como as empresas vem produzindo dados é um excelente benchmarking para inovações. Neste bate papo iremos falar sobre: Dados como Produto; Times de dados; Gestão de Dados. O principal objetivo deste episódio é mostrar como as empresas estão tratando esses tópicos no cotidiano. Não apenas no nível técnico e gerencial, mas também com a visão de todos os envolvidos, Scrum Master e DPM (Data Product Manager). Linkedin do time Clicksign Thiago Rocha (Scrum Master): https://www.linkedin.com/in/thiago-rocha98/ Marco Coimbra (Data Product Manager): https://www.linkedin.com/in/marcoantoniocoimbrafilho/ Jose Ivamotto (Head de dados): https://www.linkedin.com/in/jose-ivamotto/ Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Challenge in Bulding an Open-Source Community with Aaron Williams

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Aron Willians, atualmente como Community Manager/ Developer Advocate na Ampare. Aaron é apaixonado por trazer novas tecnologias para desenvolvedores atuais e para a próxima geração, por meio de hacking e treinamento prático. Neste podcast, você vai aprender sobre: Desafios na construção da comunidade de código aberto; Visão gerencial de comunidades de dados; Empresas que estão investindo no impulsionamento do Pulsar. Falamos também nesse bate-papo sobre os seguintes temas: Tecnologia como Kuberbetes; Apache Pulsar. Aprenda mais sobre as comunidades de dados e sobre as principais tecnologias do Mercado. Ararob Willians= https://www.linkedin.com/in/aaron-don-williams/ Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

O Desafio da Engenharia de Dados no iFood com o Diretor de ML e Engenharia, Ivan Lima

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Ivan Lima, atualmente Director of Machine Learning & Data Engineering no Ifood. Ifood é uma das maiores empresas do Brasil e, claro, leva o assunto sobre dados muito a serio. Imagine receber diversos dados do aplicativo, além de possuir várias sessões analíticas e dados em alto volume. Neste podcast, conversamos sobre: Desafios na área de dados de grandes corporações; Visão gerencial. Falamos também sobre os seguintes temas: Mercado de trabalho no Brasil em 2022; Tecnologias usadas dentro do Ifood; Softskills; Gestão de times de dados. Aprenda mais sobre como as empresas estão lidando com o desafio de dados internamente, principalmente de grande porte como Ifood. Ivan Lima = Linkedin Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

The Data Lakehouse Paradigm with Bill Inmon - The Father of Data Warehouse

No episódio de hoje, Luan Moreno, Mateus Oliveira e Orlando Marley entrevistam Bill Inmon, criador do conceito de Data Warehouse e escritor de diversos livros com temáticas voltadas para dados. Data Warehouse é o conceito de centralização de dados analíticos das organizações, de forma estruturar um visão 360° do business. Neste episódio, você irá aprender: Diferenças entre OLTP e OLAP; Histórico dos dados para tomada de decisão; Criar um processo resiliente para entender os fatos dos dados.Falamos também, neste bate-papo, sobre os seguintes temas: História do Bill Inmon; Pilares de sistemas analíticos; Nova geração de plataforma de dados analíticos; Aprenda mais sobre análise de dados, como utilizar tecnologias para tornar o seu ambiente analítico confiável e resiliente com as palavras do pai do Data Warehouse. Bill Inmon = Linkedin Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Querying Data with Trino from Earth to Space - Talk with Brian Olsen, a Developer Advocate at Starburst

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Brian Olsen, atualmente Head of Developer Relations na Tabular. Trino é um produto open-source, para virtualizar os dados através de queries. Imagine uma engine de SQL capaz de consultar dados do Apache Kafka, Cloud Storage, Databases e diversas outras fontes de forma simples e extremamente eficaz. Com Trino, você tem os seguintes benefícios: Diversos conectores para múltiplas fontes de dados Gerar queries analytics de forma simples e eficaz Trabalhar com modelos de Lakehouse como Iceberg e Delta Falamos também neste bate-papo sobre os seguintes temas: História do Trino Capacidades do Trino Recursos avançados Novas features Adaptive Query Execution Casos de Uso Aprenda mais sobre Trino, e como utilizar esta tecnologia para explorar os dados em diversas fontes diferentes, junto com um dos principais vozes da comunidade. Brian Olsen Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

A Day in a Life of a Founding Engineer at StarTree: Apache Pinot with Neha Pawar

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Neha Pawar, atualmente Founder Engineer na StarTree. Apache Pinot é um banco de dados OLAP de baixa latência, que foi desenvolvido para queries analíticas dentro do Linkedin. O objetivo é resolver um dos problemas que tecnologias como o Apache Kafka não resolvem, consultar bilhões de eventos com performance e baixa latêcia . Com Apache Pinot, você tem os seguintes benefícios: Alto desempenho de consultas analíticas; Dados que residem no Apache Pinot são comprimidos; Habilita milhares de acessos concorrentes aos dados residentes no Apache Pinot. Falamos também sobre os temas: Criação do Apache Pinot; User Facing Analytics; Tipos de Deployment no Apache Pinot; O que vem por aí no Apache Pinot. Aprenda mais sobre Apache Pinot, uma tecnologia capaz de armazenar dados em tempo real, e executar queries com baixa latência, chegando até milissegundos. Neha Pawar = Linkedin https://pinot.apache.org/ Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters

Simplificando Projetos de Analytics utilizando dbt e Modern Data Stack com Matheus Willian, Head of Data Engineering na One Way Solution

No episódio de hoje, Luan Moreno e Mateus Oliveira conversam com Matheus Willian, atualmente Head de Engenharia de Dados na One Way Solution. dbt é uma das tecnologias mais faladas e utilizadas fora do país, possibilitando aos times de todos os portes trabalhar com o conceito de Modern Data Stack, tornando o desenvolvimento de transformações dos dados de forma simples e com SQL. Com dbt, você tem os seguintes benefícios: Desenvolvimento de pipeline de dados usando SQL; Reutilização dos códigos usando estruturas de git; Simplificação da Stack de dados; Processamento em Modern Data Warehouses dentro outros adapters. Falamos também nesse bate-papo sobre os seguintes temas: Dados como pilar central; Dbt; Times de BI Moderno. Aprenda mais sobre dbt, como utilizar uma tecnologia para Modern Data Stack, junto com o time da One Way Solution, que mais impulsiona a comunidade, tanto com conteúdo, como com treinamentos e eventos para ajudar os profissionais de dados brasileiros em vagas de trabalho dentro e fora do país. Matheus Willian = https://www.linkedin.com/in/matheuswillian/ https://www.getdbt.com/ Luan Moreno - Linkedin https://engenhariadadosacademy.com.br/ Engenharia de Dados Academy - Instagram

• Chapters