Sembra che Intel, alle prese con la ristrutturazione del suo modello di business, stia pensando di fare marcia indietro sul maxi-investimento di Magdeburgo, annunciato come il più grande insediamento straniero nella storia della Germania. Quindi quanto ho detto quasi in fine di presentazione resta fortemente in dubbio. Lo scenario industriale sta diventando sempre più complesso e difficile da prevedere.
La conferenza di Ernesto Hofmann su ChatGPT è stata una rivelazione! Ha chiarito concetti che avevo solo intuito e mi ha aperto nuovi orizzonti. La migliore che abbia mai sentito sull'argomento.
Peccato ! Molte cose sfuggono per i difetti già lamentati da altri. Peccato ! Il.prof. Ghisellini è un ottimo divulgatore e l'oggetto della sua lezione è affascinante ma terribilmente difficile : ecco perché mi sento davvero frustrata non riuscendo a sentire bene tutto. Peccato !!!
Complimenti per il webinar, sentirvi parlare mi ha fatto trascorrere un'ora di piacere. Oltre a ciò, ci tengo a ringraziarvi, ed in particolare Stefano Sandrelli, per aver dato una forma con le sue parole ad un sentimento di inquietudine che provo particolarmente in questo periodo della mia vita: "L'idea che lo spazio e il tempo in cui noi ci srotoliamo non siano degli enti universali, ci porterà a fare delle riflessioni sulla nostra essenza ancora più profonde".
Una precisazione sulle tre matrici Q,K,V. Durante l’esposizione ho troppo semplificato l’intero meccanismo delle matrici Q,K,V. E’ vero che, per le varie parole che vengono incontrate negli innumerevoli testi proposti nella lunga fase di addestramento, vengono costruite tre matrici, che tuttavia non vengono memorizzate per essere utilizzate durante l’inferenza. In realtà ChatGPT utilizza un’assai complessa rete neurale con la quale crea una specie di prototipo delle tre matrici, che verrà in seguito utilizzato nell’esame delle singole parole che appariranno con i prompt. Cerchiamo quindi di riassumere il meccanismo in modo semplificato. - ChatGPT utilizza un'unica e complessa architettura di rete neurale progettata per gestire l'intero vocabolario della lingua in cui sta operando - in virtù di una profonda analisi dei testi proposti durante l’addestramento, molti pesi nella rete neurale diventano in qualche modo stabilizzati e condivisi tra le parole, catturando modelli generali di quella lingua, mentre altri pesi più specializzati consentono alla rete stessa di adattarsi a specifiche sfumature e significati associati alle singole parole. - anche se le tre matrici (Q,K,V) vengono effettivamente create durante l'addestramento, esse non vengono esplicitamente "memorizzate". - durante l'inferenza, ChatGPT non ha quindi matrici memorizzate per le singole parole. Invece, utilizza pesi, e cosiddetti “bias”, condivisibili, che sono stati appresi durante l'addestramento e che codificano collettivamente le informazioni necessarie per rappresentare una vasta gamma di parole - le matrici generate al tempo dell’addestramento sono in realtà tre matrici “generali”, Q,K,V, che codificano contemporaneamente informazioni su varie parole e contesti. Cosa accade allora durante l’inferenza? - quando appare un nuova parola ChatGPT utilizza le matrici “generali” - ma ChatGPT potrebbe aver bisogno di regolare dinamicamente alcuni pesi (quelli più specifici per la parola) per rappresentare meglio le sue sfumature e associazioni nel contesto dato - occorre tuttavia tener presente che le regolazioni apportate durante l'inferenza non vengono esplicitamente memorizzate o conservate per istanze future della stessa parola: ciò vuol dire che, se la stessa parola riappare in seguito, ChatGPT utilizza un analogo meccanismo di aggiustamento dinamico ChatGPT non "ricorda" esplicitamente i perfezionamenti per parole specifiche in diverse istanze o intervalli di tempo. L'aggiustamento dinamico si basa sul contesto immediato e sui parametri condivisi appresi durante l'addestramento. Se ci sono cambiamenti nel contesto o se la parola è usata in modo diverso, il modello può apportare modifiche diverse.
Durante il seminario, in maniera un pò frettolosa, ho detto che quando agisco con una trasformazione lineare (con una moltiplicazione di una matrice) su un vettore è come se stessi cambiando lo spazio in cui vive il vettore, cioè potrei pensare che due vettori, apparentemente disposti secondo direzioni abbastanza simili, potrebbero diventare idealmente separati. Questo ragionamento richiede però un minimo di approfondimento. Potrei ulteriormente semplificare immaginando uno spazio bidimensionale con vettori in due dimensioni. I vettori sono quindi in un piano, e quando li moltiplico per matrici modifico effettivamente il loro orientamento e la loro dimensione. Ricordiamo che le due matrici non sono identiche (ogni vettore ha associata le sue matrici Q o K o V). Se due vettori planari sono diretti quasi nella stessa direzione e li moltiplico per le loro relative matrici (ad esempio, matrici Q), i vettori trasformati possono effettivamente cambiare direzione. La trasformazione specifica dipende dai valori all'interno delle matrici. La trasformazione lineare quindi non curva lo spazio stesso, ma altera i vettori all'interno di quello spazio, influenzando la loro dimensione e potenzialmente direzione in base alla trasformazione applicata dalla matrice.
Dopo una lunga ulteriore discussione con ChatGPT posso confermare che la chart sul context vector è corretta. ChatGPT mi scrive: “Your intuition is correct! When processing a short sentence, the context vectors may indeed appear very similar or even identical, as the model learns to capture the essential information or “essence” of the input. The context vectors aim to represent the relevant context of the entire conversation, and for concise sentences, this essence may be effectively summarized in a single, cohesive representation. So, your observation aligns with the idea that the vectors describe the essence of the sentence.”
Prof. Hofman, grazie per le conferenze su chatgpt. Vorrei sapere a quale ChatGpt ha fatto riferimento nella preparazione degli esempi. A ChatGpt3.5 oppure a Bing o altro? Il mio scopo é di capire a quale ChatGpt conviene far riferimento (per hobby non per lavori professioonali). Grazie Luigi Bellato
Grazie per la Sua gentile domanda. Ho costantemente utilizzato ChatGPT 3.5. In maniera veramente massiccia. In alcuni casi, per i quali dubitavo della qualità della risposta, ho chiesto a mia figlia, che lavora a Oxford, di controllare sul suo 4.0. Nel caso delle mie domande non ho visto differenze eclatanti. Spesso 4.0 rispondeva in modo diverso, ma dicendo le stesse cose. Per la Sua attività credo che 3.5 sia sufficiente, ed è gratuito. Anche se con 4.0 c’è la possibilità di gestire immagini. L’unico consiglio che posso darle è di insistere. Spesso ChatGPT dà inizialmente una risposta un pò semplificata. Allora bisogna, in un certo senso, “stanarlo”. Usare le sue stesse frasi e chiedergli, anche insistentemente, : “ma qui cosa volevi dire? Puoi farmi un esempio semplice ma concreto? “ E piano piano si arriva a risposte molto più ricche. Auguri per la Sua attività. EH @@luigibellato9376
Io mi sono sempre chiesto come sia possibile verificare l'esattezza di calcoli che, viene detto, con un PC normale richiederebbero migliaia di anni mentre il computer quantistico li risolve in qualche secondo....
io mi (e vi domando): ma che senso ha pubblicare una roba del genere? Ma non vi rendete conto che non ha nessun senso perché la gente resta ad ascoltare 10 forse 20 minuti e poi scappa a gambe levate? È incredibile
L'AVETE VINTO SUL CAMPO? MA COME??? RINGRAZIATE LA VOSTRA TERNA ARBITRALE, AVETE RUBATO DUE PARTITE AL FOGGIA DOVE TUTTO E' MOLTO EVIDENTE E CONTINUATE A PARLARE DI "B"?????
Complimenti al Colonnello Stirpe; i suoi interventi sono sempre incredibilmente chiari, esaustivi e sobri. La sua mancanza di ricerca di protagonismo è indice, a mio avviso, della sua profonda preparazione. Bravi anche gli organizzatori che hanno gestito bene le domande, incliusa la qualità delle stesse, ed i tempi.
Immagino che chi attacca debba disporre di una superiorità di 3:1 su chi difende soltanto a parità di livello tecnologico e di sofisticatezza delle tecniche di combattimento. Ci sono numerosi esempi di come chi ha attaccato non disponeva assolutamente di tale superiorità eppure stravinse. Penso alla guerra franco-prussiana.
Armi nucleari: purtroppo vi sono politici americani che pensano di poter vincere una guerra nucleare (vi sono persino documentazioni video di simili affermazioni) e si arrogano il diritto del "primo colpo" (di attaccare per primi con armi nucleari) anche se il loro territorio non è in pericolo. Se questa è una guerra totale, non può che sfociare in una guerra nucleare. Sorprende che si affermi di sapere che la Russia combatte per un motivo esistenziale e nonostante ciò alimentare la guerra (e illudersi di poterla vincere, come se l'esercito ucraino fosse messo meglio di quello russo). Annessioni mai avvenute dal '45! E' clamorosamente falso, tanti confini sono stati spostati, a partire da quelli di Israele e Nato (i "dominion" statunitensi) si sono ingranditi un bel po' (tant'è che la Russia ha iniziato l'operazione speciale perché non può accettare una Ucraina nella Nato)
Bravissimo relatore! Chissà, non sarebbe meglio rigirare la frittella dall'altra parte? Cioè normalmente oggigiorno la gente programma un computer tradizionale e poi piano piano comincia a capire come è fatto un computer (qualche volta neanche gli interessa). Non sarebbe meglio partire da come si programma un computer quantico per poi piano piano capire come funziona? (è solamente un'idea)
Concordo pienamente, anche perchè la logica di programmazione quantistica non è del tutto intuitiva. Ma lavorando (ossia programmando) si impara di più che teorizzando. Ottima osservazione!
Salve, ho un dipinto di Frédérico Farufini, vorrei sapere il suo valore, se è un grande pittore italiano, è di 52x32 cm, grazie per la risposta, François.
Molto esplicativo ed interessante questo intervento, che capita proprio dopo la mia rilettura dell'opera, rilettura che mi ha suscitato molti interrogativi, ma anche l'impressione che sia un'opera fallita, con grandi ambizioni, spropositate rispetto alla stesura che risulta frammentaria, inconcludente, confusa.... scusate per la presunzione critica.
Il testo, molto ampliato rispetto alla presentazione youtube, è disponibile sia su Kindle (circa un euro e mezzo), sia in formato cartaceo (più curato e costoso rispetto alla versione kindle), con lo stesso titolo, sempre su amazon. In questa versione della presentazione youtube manca una seria discussione dell’algoritmo di Deutsch, alquanto complicato, ma assolutamente essenziale per iniziare a comprendere cosa sia un “algoritmo” quantistico e non un qubit, che pure è essenziale. L’algoritmo di Deutsch è nato molto prima che veri qubit fossero disponibili. Ma è negli algoritmi la vera potenza di calcolo del comp. quantistico. Ovviamente serve anche l’hw. E piano piano sta nascendo. Un saluto. E.
In questa giornata - 10 luglio - speciale per tutti i proustiani (il genio francese nasceva esattamente 151 anni fa) scopro questa conferenza della prof.ssa Eleonora Sparvoli che, come sempre, lascia il segno per completezza, originalità e profondità di analisi. Grazie.
Ho provato a risponderle ma la mia risposta scompare. Ci riprovo. Ho molto ampliato il testo e l’ho reso disponibile su kindle per poco più di un euro. C’è una lunga discussione dell’algoritmo di Deutsch. Se non si comprende almeno quello non si può comprendere il reale funzionamento di un comp. quantistico. Cordialità. EH
