Super! Interessant wäre aber auch, da preisgünstiger, eine Lösung von AMD, denn deren "U" CPUs bieten auch KI-Beschleunigung der 2. Generation, die laut Benchmarks die von Apple übertreffen soll (Die Ryzen 88xx Modelle)
Mir haben hier noch Informationen zum Arbeitsspeicher gefehlt. Wie viel RAM sollte mein Mac Mini dafür haben? Ab wann bekomme ich Limitierungsprobleme bei meiner lokalen KI bei zu wenig RAM?
Sehr interessantes Video. Ich stand Ende letzten Jahres auch vor der Suche für einen lokalen AI Rechner, habe mich dann aber für ein Custom build PC mit ordentlicher Grafikkarte entschieden. Die NVIDIA Unterstützung ist bei den meisten Lösungen hier wirklich ideal. Habe auch gleich mal den "ApfelCast Benchmark" gemacht ;) MacBook M1: 58s (10.75 tokens/s) Windows mit RTX4070: 17s (54.73 tokens/s) Zeigt mir auf jeden Fall, dass es die richtige Entscheidung war, auch wenn ich lieber einen Mac genommen hätte. Der PC ist schneller als der MacMini und hat den Vorteil das viel viel größere Modelle geladen werden können. Das gleiche kann man scheinbar auch mit einem MacStudio erreichen, aber dann leider für den 3-4 fachen Preis. Das war es mit nicht wert.
Zur Info für alle, die es interessiert: mein 2018 Mac mini, 3.2Ghz 6-Core Intel i7 mit 64GB Ram brauchte für den Eiffelturm-Text zwischen 1min40 und 2min00 (6.37 tokens/s)
@aaartist_yt: Hast Du eine Idee, weshalb ein MB M1 etwa 3x langsamer ist, wie der M2 Mac mini? Ist da ein so grosser Unterschied? Laut Geekbench und Anzahl GPUs dürfte der M2 nur etwa maximal 25% schneller sein...
@@15TstepsAday Kann mich nicht mehr erinnern, welcher Mac Mini M2 im Video genutzt wurde. Den M2 Mac Mini selbst gibt es ja in verschiedenen Ausbaustufen. Ansonsten können auch noch viele andere Faktoren eine Rolle spielen. Unterschiede im RAM, schnellere oder langsamere SSDs (das ist bei Apple ja auch immer Glücksspiel), möglicherweise kann der MacMini auch mehr Strom aufnehmen als ein MacBook + der MacMini bekommt die Abwärme sicherlich schneller weg als so ein MacBook. Zudem kann es auch sein das der M1 während der Aufgabe gerade noch andere Sachen zu tun hatte. 3-fache Geschwindigkeit hätte ich jetzt auch nicht getippt, aber kann schon hinkommen.
@@aaartist_yt Ja, Du hast Recht, es wurde im Video nicht genau gesagt, welcher M2 mini genutzt wurde, es wurde aber immer wieder das Basismodel mit 8GB Ram erwähnt. Ich frage so detailliert nach, um abschätzen zu können, ob sich eher ein gebrauchter Mac mini mit M1 und 16GB Ram lohnt oder eher ein neuer mit M2. Aber beim einem Neuen ist man ja nach oben fast unbegrenzt und man sollte dann vielleicht besser auf einen Mac mini mit M4 warten...
Also, ich habe mir einen M1 Mac mini mit 16gb Ram besorgt: er braucht tatsächlich 55s bis 1min 05 für diese Textaufgabe. Das neue llama3.1 Model braucht sogar 1min 30. Da scheint der M2 schon ein deutlicher Sprung nach vorne zu sein. Es fühlt sich dennoch schon recht flüssig an und es ich merklich reaktiver wie auf dem 3.2Ghz 6-Core Intel i7 Mac mini.
Mac Mini M2 und Anything LLM als UI. Da ist sind auch Web-Scraper, Agents und RAG mit drin. Macht das alles so viel nützlicher! Danke für den Hinweis mit dem Mac!
Wieder ein Interessanter Beitrag . Bedeutet lokal das dieser ki Server nach der Installation nicht mehr auf das Internet „zugreifen“ muss? Warum muss man zur Anmeldung auf seinem privaten Server seine Mail angeben? Das wäre schon interessant wenn man zb. Anschreiben erzeugt wo personenbezogene Daten angegeben werden. Danke und Grüße
Richtig, nach der Installation kannst du den Mac vom Internet trennen und die KI Funktionen funktionieren weiterhin. Die E-Mail Adresse dient hier einfach als Unique identifier.
Vielen Dank für dieses Video. Mich würde es interessieren, wie es sich verhält, wenn mehrere Anfragen gleichzeitig kommen., also zB im Kontext eines Klassenzimmers, wie reagiert dann das Modell? Werden die Prompts nacheinander abgearbeitet? Welche Version von Mac Mini ist dann zu empfehlen? RR
Ich würde mich sehr über mehr Content über den Mac Mini als Homeserver freuen. Genau so wie dieses Video finde ich es immer wieder schön wie du das zeigst und erklärst ohne jegliche Werbung. Wie immer sehr interessant und sehr gut gemacht!
Da lass mal lieber die Finger von und hol Dir etwas mit einer x86-64 Architektur. Beim Mac Mini funktioniert leider nicht mal mehr die Dateifreigabe zuverlässig.
Ich würd dafür keine 8GB Mac Mini nehmen. die LLM´s sind sehr RAM abhängig/Lastig. Standard LLM´s brauchen mal so rund 4-6GB im RAM, größere auch mal bis über 20GB. Deswegen sind auch manche kleinere Iphone/ipad Modelle nichtfür die lokale KI vorgesehen. die CPU/NPU würde reichen, aber sie haben zu wenig ram. Ich würd zumindest 16GB nehmen.
Danke für das spannende Video. Kannst du die Leistung von OLLAMA einordnen im Vergleich zu Bildungsversion von Copilot (gratis für Studenten) und im Vergleich zu Copilot als Bezahlversion (privat). Wie siet es mit Copilot versionen aus? PS: Dein Voice-Sound bei Screenrecording ist top!
Erst mal danke für das Video. :) Hab es mal auf meinem MacBook Air getestet, leider ist da die Performance so schlecht, dass man damit nicht arbeiten kann. Teilweise hängt dann auch der gesamte Rechner, so dass man nicht mal mehr parallel arbeiten kann um auf die Antwort zu warten. Aber das video geht ja auch darum, dass ein extra Rechner der nur das Machen soll bereit steht. :)
Irgendwie verstehe ich nicht, warum Tesla zehntausende Graphikkarten zu je 40000€ für KI benötigt, obwohl so eine Neural Engine im 700€ Mac mini ja auch schon brauchbar sein soll. Wenn mir das mal jemand erklären könnte...
Hm, mich würde interessieren was du über folgendes Szenario denkst und ob ein MacMini dafür ausreicht. Ich arbeite gerade an einem Projekt für meine Behörde, wo es darum geht sichergestellte E-Mails, Nachrichten usw., mit Hilfe von KI nach verdächtigen Inhalten zu durchsuchen/analysieren. Bei mehreren 100.000en ist das manuell nicht mehr zu bewerkstelligen. Ich weiß, in der Cloud würde das kein Problem sein, allerdings ist es so das die Daten unser Haus nicht verlassen dürfen. Für einen performante Serverlandschaft fehlt hier leider auch das Budget. Was denkst du? Umsetzbar mit nem kleinen Mac?
Da fehlt so ein bisschen das drum herum. 100.000 Mails pro Stunde? Tag? Woche? Monat? Jahr? Was für ne Server Landschaft existiert bereits, hast du schon ne KI am laufen bei dir zuhause oder so? Fehlt dir da nur die Hardware weil du keine bekommst? Um was für verdächtige Inhalte geht es denn. Spam, Hack und Phishing? Da gibts aufem Markt schon ein paar Lösungen, die bestimmt auch on Prem laufen. Da fallen mir TrendMicro, Hornetsecurity oder Baracuda ein, ich weiß aber jetzt nicht ob die eine on Prem lösung bieten. Aber egal was in die Richtung geht, günstig wird nichts davon, egal ob Cloud oder on Prem die Unternehmen lassen sich das gut bezahlen, jedoch macht bei uns TrendMicro gute Arbeit. Wenns um andere dinge geht wofür es nichts gibt, bleibt nur eins, der Schuss ins blaue, mit nem Mac mini würdest du geldtechnisch jetzt groß nichts kaputt machen. Aber behalte halt im Hinterkopf, dass en Server mehr ausmacht als nur Performance. Schnelle Garantieabwicklung, ausgelegt für 24/4 Betrieb, Renudanz, usw.
Ich habe den alten Macbook air M1 Laptop meiner Frau, bei dem das Display kaputt gegangen ist, für den gleichen Zweck im Wohnzimmer gestellt headless. Wenn ich doch Display brauche, wird er mit dem Fernseher verbunden durch eine Dockingstation. Ollama läuft und ist erreichbar im Heimnetzwerk. Allerdings sind die 8GB Arbeitsspeicher für KI Modelle gerade das unterste Limit. Hier laufen nur die kleinsten Modelle. Energieverbrauch ist sensationell bei den M Modellen. Ich bin jedoch kein Fan vom MacOS
@@lutzakemannj nein leider, bei Air Modelle sind die RAM gelötet und es gibt keine RAM Riegel mehr, die man austauschen könnte. Dadurch wird das Laptop zwar sehr dünn, jedoch geht es auf Kosten upgradablity
@@lutzakemann Leider ist bei M Modellen der RAM und der SSD nicht mehr aufrüstbar => denn die LPDDR4 bzw. LPDDR5 RAMs sind auf dem SOC chip gelötet. Dadurch kann der Macbook Air so dünn designed werden, hat aber eben andere Nachteile. Es gibt aber sehr erfahrene Besitzer, die solche gelötete Chips doch umtauschen können mit speziellen Werkzeugen. D.h. technisch möglich wäre es aber nicht praktisch möglich für die meisten
@@lutzakemann 3 Billion Parameter> sozusagen neuronale Verbindungen 4Q > 4 bit quantisierung, ist wie runden von Nachkommatellen. Je kleiner die Zahl desto kleiner und schneller wird das llm, allerdings produzieren schlechtere Antworten
Die Frage ist auch, was erst mit einem M4 geht. Bzw. den kommenden M5 usw., die noch deutlich performantere Neural Engines haben werden. Was natürlich ein echtes Killerargument ist, sind die max. 50W. Vermutlich wird es nicht mehr lange dauern, bis es Komplettsysteme auf ARM-Basis geben wird, die man sich zu Hause out of the box hinstellen wird können. Von Apple, HP, Amazon etc. etc. Bad News for Intel.
M5 wird deutlich performantere Neural Engines haben? Weißt du mehr als wir? Arbeitest du in Cupertino? Wie dem auch, ch pers. warte auch sehnsüchtig auf eine performante ARM-Kiste, die ich mir als Linux-Server hinstellen kann. Bei Windows wird es meiner Einschätzung nach noch dauern, bis x86 verdrängt wird. Stichwort Treiber…
@@Robert65536 Wo soll denn die Entwicklung hingehen? Der M4 hat schon einen größeren Sprung in die Richtung gemacht. Der M5 wird da sicherlich nicht zurückfallen. Wenn du jetzt einen performanten ARM-Linux-Server willst, hol die einen M4 Studio Pro und installier dann ein Linux. Aber warum? Ich finde, der Mac ist die perfekte Symbiose. Ein ausgewachsenes Unix und ein Desktop, der nicht umsonst als Kopiervorlage für alle andere diente und dient.
