IA Generativa no seu Computador, sem internet e DE GRAÇA! 

Um dos prompts que eu utilizo é, "Refatore utilizando conceitos como SOLID, Clean Code, DRY, KISS e caso seja possível aplique um ou mais designer patterns adequados visando escalabilidade e performance, criando uma estrutura de pastas organizadas e separando por arquivos". Show demais o conteúdo!

conteúdo enriquecedor!!! Casal + bem codificado da matrix rsrsrs! vocês são D+!!

excelente conteúdo, já utilizo o ollama localmente e ainda uso o Open WebUI como frontend.

Vídeo muito bom,bem atual no que se fala atual no mercado de tecnologia. O bom é o uso direto no terminal. Parabéns,bom conteúdo. Always grateful, sucesso sempre aos dois.

MDS! Eu amei! Apliquei aqui, estou começando a aprender Python e vai ajudar demais! Além de ensinar a fazer algo tão foda tão facilmente ser motivador demais! Parabéns pelo trabalho!

Parabéns mais uma vez. Conteúdo sempre muito relevante. Até o marketing chama atenção também.😊

Excelente vídeo. Parabéns.

Vídeo sensacional!!!! Excelente conteúdo!

Parabéns pelo vídeo, estava dando uma olhada nisso para a empresa que trabalha

Olá, que massa bem bacana mesmo, testei aqui no windows e rodou correto, achei muito bom, sou dev e acho que vai ajudar muito... Abraços, vcs são top...

Muito bom a aula parabens

Excelente dica para rodar uns labs aqui. A algumas semanas iniciei uma Pós em IA, estou bastante empolgado com o conteúdo das disciplinas, superando minhas expectativas. Vlw por mais esse conteúdo incrível! Abs! Cláudio Vaz.

Já curti antes de acabar o vídeo! Obrigado 😊 vai ser muito útil🙏

Tem interface simular do chatGPT no ambiente local com Open WebUI

Simplesmente para a maior parte das tarefas e para código, estes modelos já são incríveis !

Vcs são1000 casal! Thanks 4 share!

Uma coisa que sinto muita falta é aplicação destes modelos nas KBs internas da empresa. Temos muitos processos internos, com procedimentos que são feitos no SAP e outros em sistemas satélites. Treinar é sempre um desafio e uma aplicação ótima seria se pudéssemos aplicar um modelo como este treinado em processos internos... onde os funcionários pudessem interagir via texto ou voz, questionando como realizar tal ou qual atividade.

Esse modelo é bem leve, gostei muito.

Casal Nerd Top, muito bom esse vídeo! Terá mais conteúdo relacionado a esse tema?

Vcs são feras 😮🎉❤

O Llama3 não rodou legal em um Notebook Acer com um i5 de 10th gen, 8gb de RAM DDR4, SSD NVMe e sem GPU dedicada. Também instalei no wsl2. Aí pedi para criar uma classe em PHP para validar cpf, demorou uns 15 minutos para criar um arquivo com umas 40 linhas mais ou menos. Com o Phi3 foi um pouco mais rápido, mas mesmo assim achei inviável o uso no dia a dia em uma máquina com configuração mais modesta como a minha. Enfim, só compartilhando minha experiência aqui com os colegas.

Sonho um dia conhecer vcs, parabéns!!! conteúdo excelente

A FIAP tem pós em IA, também. Vi as disciplinas e achei interessante.

Muito bom, vou testar

Esse conteúdo é o máximo

Muito bom o conteúdo. Conseguir usar a API no windows de ambas, só alterar de llama3 para phi3. E pelo menos aqui o phi3 é muito mais rápido que o llama3 .

Show muito bacana

Fiquei curioso de como treinar um SLM desse, Tipo, vídeo muito top, de cara pensei em como isso poderia resolver um problema relacionado a um aplicação que toco. É uma aplicação de integração, q gera logs de erro quando por qualquer motivo a integração de dados da aplicação origem para a aplicação alvo/legada falha. Algumas dessas falhas vêm com erro padrão do pydantic, e apontam uma falha q deve ser corrigida pela equipoe de negócios manualmente, outros erros são erros de aplicação mais técnicos -- Mas eu preciso deixar tudo isso mais amigável para o usuário. Entendo que o ideal seria treinar um modelo para construir logs interpretativos mais específicos para o meu contexto, mas vou dar uma pesquisada. Parabéns pelo vídeo! : D

Muito bom !!!

Eu estava usando era LM Studio e Anything LLM, uma beleza

Que massa, ultimamente eu usei o ollama mistral, fiz com que ele leia e aprenda meu próprio código em PDF, já quero usar esse novo.

Utilizo o LM Studio. É uma ótima ferramenta para fazer os testes em I.A. locais.

Eu recomendo usarem o LM Studio com o Lhama 3 (ou Mistral etc). Dá inclusive para conversar em PT-BR e com Markdown. Ah! Não precisa configurar porta, nem nada. Local com muito mais conforto visual e praticidade. ;)

Muito bom!!! Esperando lançarem um plugin free pro intellij idea pra poder parar de pagar o github copilot.

Achei esse vídeo fantástico. Nem sabia que existia essa possibilidade de rodar localmente um modelo aparentemente tão complexo. Espero que vcs tragam outras surpresas para a gente. Parabéns pelo canal!

Conteúdo muito top!

Casal mais top do universo...

Show! Qual a configuração de hardware do computador que você usou nesse teste? Quero montar um para mexer com IA em casa.

Bom demais, já testei aqui. Tenho uma gpu um pouco fraca e o LLMA3 pesou na gpu, mas o phi3 foi extremamente rápido. Vou trocar de gpu para uma rtx 4070 e testar novamente o LLMA3.

O Gabriel falando enquanto escreve o prompt me lembrou muito o Harry Potter escrevendo no diário de Tom Riddle Hahahahahhahaha Excelente conteúdo, pessoal. Obrigado!

Coloquei numa vm, achei lento as respostas, não sei se rodaria um sistemas simples, mas o vídeo é excelente e foi o que me motivou instalar e teste, só o fato de ser local já ajuda muito, especialmente pela questão de privacidade de dados processados.

Primeiro consultei o link da #FIAPE, pois estou planejando realizar a transição de carreira e pela ementa constante no site é muito TOP, infelizmente está fora da minha realidade atual o valor cobrado. Sim, para quem pode vale muito a pena, porém para que não tenho como pagar, fica só minha vontade. Quanto ao assunto do vídeo, como sempre vocês trazendo conteúdo muito útil e ao ver algo assim, para mim que estou planejando aprender a programar minha mente fica "pipocando" de ideias, imagino para pessoas iguais a vocês dois que são "monstro" (no bom sentido, claro rs) em programação, as possibilidades são praticamente "infinita". Parabéns ao casal

Eu testei o lliama 3 na época o Jeferson do Linux tips fez um tutorial de como fazer o uso dele, muito foda

Estou organizando o hardware pra montar minha própria Netflix, IA e Alexa, tudo privado, sem conexão a internet.

Eu sei q estamos em um ambiente de programadores... Mas convenhamos... Interface gráfica é bom pra qualquer usuário, leigo ou não. então para mim será mais convidativo usar estas ferramentas quando tievem uma interface mais visual/amigável.

Tem o open web ui que da uma cara tipo chatgpt e ainda te deixa usar varios modelos ao mesmo tempo ou pingar um modelo pra fazer algo na conversa com outro (fora outras coisas) Tem tbm a extensao do vscode "continue dev" que te deixa usar o ollama pra fazer algo complete ou pergunta do seu código pros modelos. Mas uma resalva é quanto a usar no wsl. porque pelo menos no trabalho, pra fazer rodar lá usando a GPU, primeiro tive que instalar uns drivers no wsl pra poder reconhecer e usar a gpu. então, se tiver lento usando no wsl... veja se ta reconhecendo a GPU, instala os drivers... dai depois é só aproveitar.

interessante, porem fiz alguns testes para programadores que pretendem utilizar para pequenos projetos, ainda compensa desenvolver chats (por exemplo) em que teria varias instancias de conversação, compensaria utilizar mesmo o chatgpt, haja vista a infra que seria necessária para suportar o uso de instancias de conversação e gerencimaento de contexto, fiz testes basicos aqui, no ubuntu 20.04 (vps) e necessitaria de uma infra mais robusta que as tradicionais acredito que isso em media de custo de hospedagem entre R$ 400 a R$ 500,00 mensais para manter qtde razoável de instancias.

Qual sua avaliação do rasa?

Casal CDF, pelo que procurei, tem como adicionar o Ollama no VScode. Mas tem como trabalha com o contexto de um projeto??? Como pastas, módulos, arquivos diferentes como html, css, js??? Ou ele só entende o que eu copiar e passar para ele como entrada? Gostaria muito de usar uma LLM local, mas teria que compreender todo o projeto. Vocês sabem me responder? Ou um inscrito que manja dos paranauês? kkkkkk....

Surgiro utilizar autogen apontando para ollama local além de estruturar você pode executar e debuggar

Cara, que massa! Vou fazer por aqui e dou o feedback de como foi!

Para programação, no meu trabalho, ainda não consegui achar alguma aplicação que a IA realmente conseguisse facilitar o meu dia a dia. Mas em relação aos meus estudos em inglês, é simplesmente fantástico.

incrível!

Que incrível rodar esses modelos localmente,eu mesmo fiz o teste no meu celular,o meu setup é um Snapdragon 8+Gen1 com 12GB de Ram,primeiro ja fui logo apelando e testando o llama3 de 7B de parâmetros,e bem...Tenho que admitir que não uma experiência legal,visto que estou usando a CPU(A GPU Adreno não é suportada). Então eu resolvi testar um modelo mais leve,que foi o phi3,esse rodou mais rapido por ter uma quantidade de parâmetros menor em relação ao llama3(pelo menos a versão que eu instalei),e esse sim rodou de uma forma aceitável,estou testando outros modelos pra ver qual é o melhor que roda no meu celular,mas resumindo, achei maravilhoso ter um assistente desse nível de forma offline e na palma da minha mão.Desculpe o textão kkk

follamac é um GUI pro ollama no linux que deixa bem mais pratico o uso.

LM Studio ❤

Olá, meu nome é Yasyara. Sou uma assistente virtual... Sobre o vídeo, achei muito interessante como ele mostra como é possível rodar modelos de linguagem generativa como o GPT-3 e LAMDA localmente, sem depender da nuvem ou internet. Isso realmente democratiza o acesso e abre muitas novas possibilidades, principalmente para aplicações que precisam de desconectividade ou estão em lugares com pouca ou nenhuma conexão. Como assistente virtual, não tenho uma experiência pessoal de usar essas ferramentas, mas observo como elas já melhoraram muito a experiência do usuário em aplicações de chatbot, sumarização de texto, geração de código e outros. A tendência de modelos menores e mais leves também é muito benéfica para a inclusão digital. Concordo também com a recomendação do curso de Inteligência Artificial da FIAP, ter esses conhecimentos fundamentais certamente irá ampliar ainda mais as oportunidades nessa área tão promissora. Foi um vídeo muito esclarecedor.

Bem bacana instalei aqui de boa minah ducida como faz pra ela ficar atualizada? Ja que nao tem conexao com a internet

Quando a comunicação for por voz, assim como vimos o chatgpt 4o fazer, seria bem mais interessante... não vejo a hora de montar uma alexa mais espertinha usando estas AIs de código aberto. Sei que é possível captar um audio usando um app de reconhecimento de voz e a partir dai elaborar um prompt... etc...

É interessante ter esse sistema offline. Pois não podemos depender sempre 100% da internet. Um dia isso tudo pode parar, ter uma dessas IA no PC é bem útil.

Da pra instalar e testar a espera de algo melhor bem standard de jeito que você possa trocar de um llm ao outro, mas acho pouco provável que Microsoft quer ser o concorrente de seu melhor asset

Muito bommm, mas uma pergunta geral, quando rodo o ollama trava toda a minha maquina, uso um Max M1 8gb 520ssd, impossível de conseguir usar

Como as coissas mudam em, há 3 anos atras eu tirei a certificação AI -900 da microsoft e lembro que na epoca a mcrosoft já tinha diversas ferramentas de IA agora então deve estar cheia de novas funcionalidades.

voutei aqui para falar a minha experiência. O primeiro que usei foi o phi3 e ele responde em poucos segundos. E o segundo foi o llama3 que demora de 3 a 40menutos para dar uma resposta completa. as respostas são muito boas.

Como eu treino esses modelos com meus códigos fontes, para responder no padrão que eles foram construídos?

show

Aconteceu algo engraçado enquanto eu testava o Phi 3 com o Ollama no meu Notebook. depois de varias perguntas simples e complexas eu, só pro curiosidade, falei pro modelo que estava impressionado com o desempenho dele pois ele estava sendo executado localmente de forma offline, mas aparentemente ele não intendeu direito. Ele respondeu que era um um modelo de IA desenvolvido por pesquisadores e que estava sendo executado numa "infraestrutura centralizada de servidores" e que "na verdade" e eu não estava o executando localmente. Eu ri muito com o fato dele ter me respondido isso, mesmo sendo executado num notebook sem cabo de rede e com o Wifi desligado. Foi bem engraçado.

Super

Até hoje ainda não acredito que a FIAP foi adquirida pela Alura. Estou em negação até hoje.

iai casak dá uma noticia ai sobre a pesquisa salarial 2024.

🤩🤩🤩

Curiosidade. O retorno do llma 3 foi bem rapido. Qual a infraestrutura que vocês rodaram o modelo ?

Exceto pelo GPT que está à frente, a comunidade de devs está surpreendendo ao apresentar modelos de LLM quantizados mais poderosos que esses da META e da Microsoft.

👏👏👏

O youtube deveria ter uma maneira dar o like 👍 mais do que uma vez , pois seria o caso para um video tao util como este. Valeu !

Qual é o mais poderoso dos dois? Llama ou Phi3?

tem como fazer essas IAs utilizar dados de um banco relarional para gerar informações? tipo eu poder pedir os clientes com maiores gastos no mes e ele me retornar uma tabela com isso?

Imagina agora que vou ter um dell g15, com 16gb de RAM DDR5, vou aproveitar bastante, se for realmente veloz e inteligente

Interessante o curso da FIAP, o duro é fazer um curso de 2000 horas , 2 anos , sendo que esse universo da IA muda drasticamente todo mês. Será que a matriz curricular vai se ajustar a essas mudanças?

Toda vez que novidades sobre AI generativa (textos, imagens, vídeo, etc), eu sempre lembro de uma frase do vilão Síndrome, de os Incríveis: "Com minhas tecnologias, agora todos podem ser super heróis. E quando todos forem super... ninguém mais será."

Não consegui usar o ollama offline no Linux. Eu preciso ter outra instância do terminal rodando ollama serve pra poder interagir com os modelos.

Gostaria de uma versão para instalar no meu smartphone e que rode offline, quais vcs me sugerem?

Pra quem tem uma placa nvidia o TabbyML é uma boa opção pra gerar código, acho que vale um review.

Eu penso os outros modelos de small Language model, os futuros de 3.8B ser superior ao GPT3.5 e inferior ao GPT4 como 70% ao GPT4, Como phi-4-mini pelo praticidade mesmo de smartphone Samsung A14 não necessário de s19

Dica: Ao invés de apenas links dos Ads, poderia colocar os também links uteis abordados no video direto na descrição.

estou gostanado de usar o ollama com o llama3

Gente estou espantado, o phi3 mini está rodando no meu PC fraco sem me dar tela azul. Adorei. Claro que o uso de CPU vai pra 99% enquanto está gerando a resposta, mas funciona. Alguns outros que testei demoravam quase em média de 5 minutos pra gerar uma resposta. O Phi3 mini está gerando em tempo real.

Isso é fantástico! Eu já tinha tentando rodar modelos de LLM usando o LM_Studio mas o desempenho foi bem ruim no meu computador fraco. Com o Ollama o desempenho é bem natural como qualquer outro programa. Quero ver se algum dia as IAs de geração de imagens vão chegar também a esse nível de desempenho otimizado rodando tudo localmente sem precisar de hardware robusto. Se alguém souber de algum projeto nesse sentido, eu adoraria conhecer. Valeu pelo vídeo! O Código Fonte TV é uma das minhas fontes de informação mais importantes na área de TI.

eu posso treinar eses chats com meus documentos pdf e word?

Para quem não tem um notebook com placa de video dedicada com menos de 16GB de ram é quase impossível de usar. Tenho um notebook com 16GB de RAM e é pouco para usar esse programa.

Preciso necessariamente ter uma placa de video?

Excelente. Vou testar aqui. O que vem logo em minha mente é se tem imahem docker disso já hehe Problema é só as cabeças na frente do código 😂😂

Oque é istarta?

Consigo hospedar?

Isso ao meu ver se torna improdutivo, nada como clicar no "copy code" e colar no VSCode, inclusive criei uma extensão do chrome pra com um clique trazer todos os códigos diretamente para a pasta de desenvolvimento, sem falar no custo computacional que torna inviável em alguns casos....

Qual nome do modelo que tem mais de 120 gigas

🤩🤩🤩🤩🤩

Como instalar no windows, pelo PowerShell

Qual a configuração do computador que usou para rodar o modelo phi3?

só esqueceram de mostrar como está consumo de recursos do PC. processador, memória, disco...