Como trabalhar com arquivos e dados GIGANTES no PYTHON

Подписаться 13 тыс.

Просмотров 1,1 тыс.

50% 1

Hoje eu quero te trazer algumas dicas e te ensinar como trabalhar com arquivos e dados GIGANTES no Python, são pequenos detalhes e comandos super importantes quando estamos trabalhando com conjuntos de dados gigantes, com milhões de registros e muitos campos e variaveis.
Vamos ver tudo passo a passo e na prática as melhores formas e estratégias para trabalharmos com arquivos gigantes no Python para melhorar nossa produtividade e nossa performance.
Vídeos que podem te ajudar bastante:
O Poder Transformador do BIG DATA
• O que é BIG DATA e tod...
Como baixar DATASETS REAIS para Machine Learning
• Como baixar DATASETS R...
Link para download do Jupiter Notebook e conjunto de dados(csv) apresentado neste vídeo:
docs.google.co...
#machinelearning
#python
#cienciadedados

Опубликовано:

20 окт 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 15

@MarcosT.Ventura Месяц назад

Prezado Jefferson, gostaria de saber a diferença entre o valor de memória quando usamos o df.info(), que nesse caso é de 8.5Gb, e a memória calculada utilizando a fórmula no python(df.memory ), pois a diferença é gritante. Achava que a memória que é apresentada no df.info, fosse a memória real utilizada, pois em outro vídeo, vc utiliza ela como parâmetro para também realizar a redução da memória utilizada. Desde já obrigado e parabéns pela didática.

@nerddosdados Месяц назад

O df.info exibe a memória utilizada utilizando uma análise superficial porém o df.memory utiliza uma análise mais profunda da memória para dar um resultado mais exato.

@nerddosdados Месяц назад

Outra diferença também é que o df.memory irá avaliar o tipo da variável e não somente o dado

@daniloaprigio171 6 месяцев назад

Muito bom!

@HENRIQUECANDINHO 8 месяцев назад

Ajuda muito mesmo! Parabéns pelo conteúdo!

@princesasindelicadas 5 месяцев назад

Muito bom, parabéns! Tenho uma dúvida, eu assisti o seu outro vídeo sobre "Análise Exploratória", e tenho uma dúvida, estou trabalhando em um "Case" para uma empresa, onde a base de dados é grande e os dados estão todos no formato "object", impedindo que eu faça uma boa análise exploratória, pois não consigo usar o "describe" e nem gerar os "gráficos de caixa" além de os dados estarem consumindo muita memória. A minha dúvida é, eu devo fazer esses tratamento de tipos de dados já na análise exploratória, ou eu devo ir para o pré-processamento e ai sim realizar esses tratamentos? E se eu ir para o pré-processamento para realizar esses tratamentos, após isso eu devo fazer uma nova análise exploratória para concluir o que eu não havia conseguido fazer por causa do problema dos tipos de variáveis?

@nerddosdados 5 месяцев назад

Ola Nesse caso como seu arquivo é grande e você não está conseguindo fazer a análise primeiro você deve converter os tipos de campos e deixar o arquivo apto para você conseguir fazer toda análise. Então ajuste os campos e depois volte para a etapa de análise

@0cxxus 7 месяцев назад

Veio em boa hora, estava passando trabalho com um conjunto de dados com mais de 26gb

@LUCASRIBEIRO-wn6gh Месяц назад

Eu também estava passando por isso.

@carlosdourado4483 8 месяцев назад

Boa Jeferson, valeu

@EdmilsonBelem1608 8 месяцев назад

Boa aula, mas qual a configuração de PC, que abre esse tipo de arquivo tão grande?

@nerddosdados 8 месяцев назад

Minha máquina tem um core i5 com 24 gb de ram No geral as máquinas com menos memória também carregam o arquivo só que ficam muito lentas

@wesleysilva5967 8 месяцев назад

Parabéns pelo conteúdo!!! O passo a passo utilizado foram muito bem explicados

@tiagoalves6494 8 месяцев назад

Excelente, sempre tive um pouco de receio em usar o python para analise de muitos dados. Obrigado pelo conteúdo.

@fqgiord 8 месяцев назад

Muito top! Deve ajudar muito no dia-dia. Mas tbm não é tão simples assim... rsrsrs Pra chegar nesse nivel o camarada deve estar bem ambientado nesse processo.