Não sou deficiente visual, mas venho aqui demonstrar minha gratidão por ter se preocupado em fazer uma introdução tão rica de detalhes visando esse público. Parabéns pelo conteúdo!!!
Eu que agradeço por dispensar vosso tempo em vir deixar um comentário!! Seus vídeos são top!!! Eu repliquei o que aprendi e o mínimo que posso fazer é mencionar a fonte, senão seria um crime da minha parte hehehe..
Valeu meu amigo!! grato pelo feedback!! temos um ebook gratuito que ensina o passo a passo para instalação do ambiente e ainda um script pyspark de exemplo: ebook.sparkanos.com.br/
Esse meu amigo é diferenciado. Não conhecia a ferramenta. Mais ou menos uns 15 atrás eu estava refletindo exatamente sobre isso: se tivesse uma maneira que permitisse os testes locais antes de subir evitaria toda essa bagunça de commits. Se eu vou usar? Com certeza! Parabéns e valeu por compartilhar meu nobre. Top de verdade
Grande Renatão!!! muito grato pela força de sempre meu brother!!! Agradeço mais um vez pela força!!! Fico feliz se o conteúdo for útil e que consigas implementar!!! grande abraço e muito sucesso nos projetos!!!
otimo video wallace, parabens. estou tentando conectar com o power bi (o gateway está em um windows na aws via ec2) e nao consigo de jeito nenhum. nao sei se ja conseguiu, mas caso sim, seria otimo um video. abs.
Falaa meu amigo!! Infelizmente eu nunca trabalhei com AWS. No dia que eu trabalhar, com certeza eu penso em gravar um vídeo nesse sentido para contruibuir com sua dúvida!! grande abraço e sucesso nos projetos!!
otimo video walace, parabens. uma duvida: eu ja tenho um container do airflow orquestrando meus pipelines. nesse caso, vou ter outra instancia do airflow gerenciada pelo openmetada (openmetadata_ingestion) para cuidar desses metadados? se sim, nesse caso eu tenho uma pasta de 'dags' tb dentro desse container e la eu posso criar minhas dags igual eu faço no proprio airflow nativamente? ou eu crio a dag pelo proprio airflow nativo usando algun conector do openmetadata? to meio perdido nisso ainda.
Exatamente!! Você pode utilizar o open metadata com o Airflow que você já possui, basta alterar as configurações. Se você quiser usar o Airflow já disponível pelo open metadata, ele tambem tem a pasta dags e você pode agendar suas dags através dele sem problema nennhum. Voce pode fazer um apontamento da pasta dags para tua máquina ou entrar no container do "ingestion" e na pasta dags colocar sua dag que já possui e ela será conhecida e vai ficar junta das dags de metadados.
otimo video. open-web-ui é uma ferramenta extraordinaria. da pra fazer muitaaaa coisa nela. integracao com qualquer llm via api, rag, pipeline, database, enfim... muita coisa legal mesmo. é facil de instalar, configurar e super indicado pra usar em producao, principalmente em empresas por conta de lgpd.
Verdade meu amigo!! estou testando aqui e gostei bastante!! o desafio agora é integrar na minha stack e fazer perguntas do tipo "qual a minha maior tabela?" e ela ser capaz de fazer uma query e me devolver essa resposta.
Olá, retorna a seguinte mensagem ao obter métricas dos buckets do minIO "An error occurred (MissingParameter) when calling the ListMetrics operation: Invalid STS API version 2010-08-01, expecting 2011-06-15". saberia o que pode estar havendo?
Olá Matheus!! Só com o que disse não consigo entender a real motivação do problema. Mas acredito que seja alguma configuração no teu yml. Está usando uma imagem Docker? As métricas por padrão já ficam disponíveis e atualizadas por padrão, por exemplo, múmero de buckets, número de arquivos nos buckets, dentre outras métricas...
@@wallacecamargo1043 Olá Wallace. Obrigado, sim. Estou usando uma imagem docker, consigo realizar a conexão com minio a partir do openmetadata. E percebi que durante o teste de conexão no seu vídeo apareceu a mesma mensagem. ListBuckets com "Sucess"e GetMetrics com "Attention". Com isso eu consegui listar todos os buckets porém não retornou informações de arquivos contidos neles. No seu laboratório você conseguiu listar os objetos dentro dos buckets ou somente os buckets?
@@MatheusOliveira-ew9uk Olá, Matheus!! Eu estou catalogando apenas os nomes dos Buckets e o lakehouse eu estou virtualizando e catalogando através do Trino. Pelo que eu vi na documentação, tem que criar uma police específica para conseguir catalogar os objetos dentro do bucket docs.open-metadata.org/latest/connectors/storage/s3
Fico feliz demais que o projeto tenha despertado interesse meu amigo!!! muito grato por dispensar vosso tempo em vir deixar um feedback positivo!!! grande abraço e sucesso nos projetos!!!
Muito grato pelo feedback meu amigo!!! ainda não testei com o MongoDB, mas ja testei com diversas ferramentas, tais como: - Postgres - SQL Server - Kafka - Superset - Minio - Airbyte - Airflow - Hive - Superset - Power BI
Eu cheguei a gravar um vídeo usando o step da Google Sheets também. Segue o link caso precise: ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-5LU1WrhLKcM.html Grande abraço e sucesso nos projetos!!!
Muito bom professor, mas me tira uma dúvida, por favor. Tem como, ao baixar o arquivo em Excel, mudar o nome dele com python? Outra coisa, teria como colocar outro caminho pra fazer o download do arquivo ao invés da pasta padrão de download? Obrigado :D
Olá, Rafael!! Muito grato pelo feedback!!! Sim, tem como renomear e mover o arquivo baixado e isso é relativamente simples de fazer. Você tem que adicionar essa extensão no código, por exemplo: Quando o arquivo chegar na pasta downloads, você muda o nome e depois move para pasta que desejar. Você pode mudar também nas configurações do Windows para o download ir para outra pasta.
Muito grato pelo feedback meu amigo!!! Agora tá comprovado que o script vai rodar nos 3 ambientes sem diferenças rsrsrss... Grande abraço e sucesso nos projetos!!!
Parabéns. Estou em transição de carreira e conheci o Walace em outras correrias, hoje me encontrei com algumas dúvidas sobre SQL e lembrei deste projeto. Muito boa a forma de passar o tema e de abordar coisas complexas de forma simples.
Muito grato pelo feedback meu amigo!!! Eu gosto de compartilhar o que eu sei de forma mais simples possível para que todos possam entender (até uma criança). Grande abraço e sucesso nos projetos!!!
Top professor!! Uma dúvida, teria vomo eu fazer vom que os dados do arquivo atualizasem de 30 em 30 minutos por exemplo. Estilo a atualização automática do excel.
Sim, é totalmente possível, basta você agendar a execução do Python para ser executado de 30 em 30 minutos que ele vai repetir o processo. Você pode utilizar o contrab, agendador do windows ou até mesmo o Airflow para isso. Grande abraço e sucesso nos projetos!!
HAHAHAHAHAA... O importante é que deu resultado!! agora tenta replicar o passo a passo do que foi feito que vc vai conseguir entender. Grande abraço e sucesso nos projetos!!!
Oi Wallace, obrigado pelo video. Eu tenho uma duvida: Não dá pra ter um trio de ambiente dev/test/prod em cada projeto? Porque eu faço migrações de dados pontuais, então sempre estou criando novos projetos do zero para cada novo cliente. O problema é que me parece que o ambiente é compartilhado no hop inteiro. Então quando eu escolho o ambiente "dev", o Hop me joga para o ultimo projeto que eu usei esse ambiente. Não dá pra ter um ambiente com esse mesmo nome ao mesmo tempo no projeto A e no projeto B
Olá, Wagner, eu sinceramente não entendi sua dúvida. Recomendo os conteúdos do meu brother Rafael Arruda que ele provavelmente vai conseguir te ajudar melhor com essa dúvida. Eu utilizei pouco o Apache HOP e hoje nem utilizo mais.
Alguma alma de bom coração poderia me explicar como adicionar um filtro de range de data que atualize meu dash com base em um periodo de data onde quem for utilizar do dash consiga definir o periodo que vai buscar as informações
Olá, meu amigo!! obrigado pelo feedback, vou ficar atento ao detalhe dos custos na próxima e mostrar para a galera!! grande abraço e sucesso nos projetos!!
