Galera, para quem nunca tinha trabalhado com o Docker ainda, provavelmente vocês terão que ativar a virtualização de máquina na BIOS. Tem vários vídeos no RU-vid sobre como realizar o procedimento. Segui o tutorial do vídeo, exatamente como mostrado, mas esbarrei na hora de inserir o comando para instalar o OpenWeb UI, meu computador apresentava erro e não concluia a operação. Ativei a VM na BIOS e funcionou. Conteúdo padrão Asimov, sensacional, acompanho o canal há pouco tempo e estou curtindo demais...
estudo da microsoft e linkedin divulgado no inicio do mês, com 30 mil profissionais, de 30 países, aponta que 78% dos usuários de IA (que são 75% dos consultados) aderem ao que chamam BYOAI (traga sua própria IA). isso gera assistentes mais adaptados e, somado ao MoE (mistura de experts) é poderoso!
Agora sim! Nada como não depender da OpenIA! E o melhor de tudo: Agora podemos criar agentes com CrewAI. Agora podemos treinar nossos próprios modelos. As oportunidades são ilimitadas!
Sensacional!!! Parabéns por tornar a passagem de conhecimento tão direta e acessível!! Ganharam não só um seguidor, mas um admirador do trabalho de vocês. Me preparando para adquirir os treinamentos da Asimov Academy!
Vídeo muito bom mais uma vez. Estou querendo montar um assistente para ser especialista em normas e procedimentos da minha empresa. Como eu poderia treinar o modelo para que ele ‘leia’ uma série de documentos? Da forma que você mostrou no Ollama, eu só consigo no prompt.
Acho que o que vc deseja seria o desenvolvimento de um sistema de RAG associado a um modelo local para que o Modelo possa responder perguntas com base no contexto recuperado por esse sistema.
Pode Rodar Tráfego pago, Tranquilo nesse Vídeo isso é o que a maioria das pessoas Querem desde de o Início do Chat GPT. Parabéns por seu trabalho. A didática é o mais importante a simplificação, aumentam a possibilidade e mais pessoas terem sua Ais Domésticas. No Control
Sensacional. Segui a risca e já tenho os modelos rodando, localmente, no meu PC (que não é de última geração). Usando o modelo llama3:8b, consegui 78.9 tokens/s. Obrigado pelo conteúdo.
Excelente vídeo. Eu estava querendo uma opção para não ter que depender da OpenAI e esse vídeo salvou. Ótimo vídeo, muito bem explicado com dicas claras de como realizar cada passo. Só tenho que agradecer.
Agora fiquei bastante curioso kk Me parece que assim seria possível criar um agente baseado nas próprias opiniões e modo de pensar, daria para usar isso para aprimorar as próprias ideias sobre vários assuntos 😮
Muito agradecido pela dica !!! Eu implementei o app no Linux, só que não usei o Docker. Instalei diretamente como ensina o tutorial da página. Muito bom !!!
Muito bacana! Então esse video é o primeiro da série. Vou continuar acompanhando. Se possível, eu gostaria de ver se é possível criar uma agente Ai que controle determinados softwares para automações e rotinas diárias com simples comandos ou comandos de voz.
Eu uso o LM Studio, dá pra testar vários modelos também, e ele já tem uma interface gráfica própria, e você também poder rodar um servidor próprio local e até criar uma interface com html mais css, para consumir a api local via código, mas pra isso tem que ser desenvolvedor web que é o meu caso, mas sinceramente achei que ficou top com ollama, pra quem não quer perder tempo programando e tal o seu exemplo achei que ficou bem melhor do que com LM Studio.
😎👍 . VALEU! Agora Sim! Conteúdos Prêmium! . Achei que eu teria que rodar toda a internet decifrando do inglês para o português durante meses, para aprender a criar "CHAT GPT LOCAL" para diversos fins, inclusive usar AGENTES para VARRER a INTERNET para pesquisar para mim, com precisão um certo assunto! . Depois de termina esta série, poderia nos ensinar como podemos criar esses MODELOS, para contribuírmos para a comunidade? . Valeu Mesmo Professor! Me tornei seu fã!
Muito bom, agora manda um vídeo usando essa llm pra conversar com os dados igual o outro video, tipo python+langchain+ollama, ai vou ser obrigado a virar aluno 😅
qual vc indica mais para rodar LLMs Locais? Pesquisando no Google, vi que o Jan gera tokens de LLM muito mais rápido que outras em comparação (como por exemplo o GPT4ALL), mas e com relação ao Ollama?
Vídeo fantástico, fiquei bobo de ver na prática. Rodei em um Ryzen 5600G com 32gb de memória. O tempo de processamento até começar a responder leva em torno de 1min e quando inicia, a escrita evolui bem, um pouco mais lento que o ChatGPT faz atualmente.
Muito interessante todas essas possibilidades. Entendo as vantagens de rodar o modelo localmente mas em relação a precisão e coerência, utilizar esses modelos localmente não seria muito menos preciso e com menor qualidade se comparado ao ChatGPT ou Copilot por exemplo? Principalmente agora com ChatGPT 4o? Qual a sua visão em relação à isso ? Obrigado por sempre agregar tanto conteúdo de qualidade 👊🏻
Muito bom o conteudo , aprendendo demais , duas perguntas: Consigo organizar os modelos do Ollama Juntos com os modelos que ja estou baixando pelo LMStudio? Para nao ter que baixar modelos nos dois separadamente... Consigo acessar o Open Web UI pelo celular estando na mesma rede Wifi ou cabo que o servidor docker , ollama (não sei qual o lugar do servidor tb kkk) ? Valeu , parabenms mais uma vez !
Como funcionaria criar os proprios agentes dentro desse ecossistema? No caso, se eu quero especializar a I.A para algo. Seria pelo OpenWebUI diretamente? Ou tenho que treina-lo localmente e exportar?
Otimo video!! Uma pergunta: Como eu desisntalo tudo e começo do zero? Eu segui o tutorial e ficou 10, ai depois eu baixei o de 70B para testar e ficou tudo travando..... Eu deletei o conteúdo da pasta blobs e baixei tudo de novo, mas ta estranho agora, os modelos parecem alucinar muito e perdeu desempenho.
Olá, estou gostando a série de vídeos. Você comentou que está rodando em um M1 Pro Max de 32GB. Qual seria o equivalente PC? Quero fazer upgrade da minha máquina (desktop) para trabalhar com esses modelos. Mais um vez parabéns pelos vídeos.
Oi, amigo! Muito obrigado. Infelizmente vou ficar te devendo essa informação com precisão... não sei te precisar qual configuração exata bateria com meu Macbook... mas se você pesquisar na internet sobre "IA Servers", vai perceber que o principal componente são placas de vídeo, especificamente na NVIDIA (acredito que com 8GB de RAM já teria uma performance excelente). Abraços!
Parece que fui o único azarado.. Instalei o Ollama, testei, tudo funcionando. Mas quando entro na interface do Openweb UI ele não localiza os modelos instalados no Ollama.. Não entendi essa...
Se não tem acesso nenhum à internet então como vc se comunica com a API do chatGPT? Não tem como rodar a IA sem acesso externo, a menos que vc use sua própria base de dados. Neste caso só conseguirá responder o que vc tem de informação na sua máquina.
Oi, William! Tem sim (através do upload dos arquivos na aba de Workspace)... Mas se você procurar em nosso canal, ensino a alimentar modelos de linguagem utilizando RAG também. Abraços!
teria como alimenta o modelo com um tipo especifico de assunto ,e eu indo aprendendo com ele, tipo assim coloca varios pdfs de livro de economia de um autor , e ai ele roda ,e responder minhas duvidas ,como se fosse o auto, ou entao me ajuda em programaçao ,mas queria alimenta ele com acesso a intenet ,pra ele me ensina a cria algoritmo genetico deep larning, e computaçao visual, ou ate mesmo aprende novas linguas ,tipo hebraico grego , assim ,teria como?, se sim ,poderia me explica?
É sim. O Ollama possui um comando chamado "serve" que nos entrega alguns endpoints para trabalharmos com ele como uma API. Acredito que na documentação você encontre mais informações.
Tentei configurar um Chat específico que ja tenho no chat gpt, mas em cima do chat GPT uncensored e clama 8b. Não consigo respostas. Usando M1 Pro e demorando muuuito, mesmo com 16gb de rum. estranho. Notei que o o Char uncensored tem 44b de tokens, por isso deu pau kkkk
Top!!! Com voz ficaria 1000. To pensando ja em montar uma maquina pra IA, pra rodar modelos mais avançados com uma placa nvidia. Rodar de 70bi e os que vierem
@@edengate1 Realmente ta caro mesmo uma 3090, 4090 seria ideal...Eu tenho AMD aqui, umas 5700xt 8GB e umas 580 que usava pra minerar ethereum, eu vi um blog, o cara rodando Meta de 70bi com placa de 4GB. Vou montar um setup com algumas placas e testar, quero rodar o 70bi
@@AnFr33 Acabei de descobrir as placas Intel A770, com specs absurdas e preços maravilhosos. Antes não tinham suportes via software, mas atualizaram e agora já da pra rodar LLM basicamente da mesma forma que com AMd e NVIDIA.
Oi, Marcio! Você pode abrir seu terminal e digital "ollama list" para verificar os modelos instalados. Para remover, basta digitar "ollama rm nome-do-modelo". Abraços!
Não, ollama só vai carregar em memória o modelo open source que vc baixa na sua máquina e daí fazer a inferência (a reposta) por isso não cobra igual usar o gpt.
Não vai rodar bem com placas de vídeo AMD, pois uso usa cuda cores que são predominantes em placas de vídeo Nvidia, o jeito é usar assim ou pegar uma placa de vídeo Nvidia
Fiz o teste em meu m3 pro 18GB, e acredite, pesou e travou. Não seu o que aconteceu, mais de ollama.server deu 25GB. Ai voltei pra usa o LLM studio. E fluiu, Esse ai não roda em memoria baixa igual a minha ?
