Ciao Lodovico. A proposito di fare correre PQ... vorrei farti una domanda che riguarda il modello dati. Nella mia esperienza, caricare le power query contenute in file excel "pesanti" nel modello dati rallenta l'apertura dei file stessi e il processo di aggiornamento delle Query. Da qui la domanda: nei file in cui l'elaborazione dei dati viene gestita unicamente dalle Power Query e NON si fa alcun uso delle Power Pivot, a cosa serve caricare le Query nel modello dati? A quali controindicazioni posso andare incontro se non le carico nel modello dati? É possibile che il modello dati, pur non portando ad una velocizzazione dei tempi di elaborazione delle query, renda comunque più affidabile e sicura questa elaborazione e/o meno soggetti a corrompersi i file? Grazie.
Ciao francalberto, tutto quello che metti nel modello dati é compresso e ottimizzato per far correre il front end, comprime i dati con un fattore anche di 30 volte rispetto a lasciare i dati su excel. Quando carichi sul modello dovresti poi relazionare il tutto e creare pivotbidimensionali, no formule classiche ma dax. Quando aggiorni lui deve trasferire e comprimere i dati nel modello, quando apri il file trasferisce i dati in ram, motivo per cui all'inizio é più lento, ma poi corre molto di più.. io ho testato che più o meno puoi caricare anche 2-500 mln di record.. ovviamente il suo funzionamento é poi legato alla complessità delle misure che vai a creare, il modello di excel ha i suoi limiti come motore, pbi é già più potente, li dipende anche da quale licenza acquisti, poi se i dati sono tali da non reggere nemneno li ci sono altri strumenti. Cmq se fai anche questa semplice prova potrai vedere tu stesso la differenza, fai 1 cerca verticale su 1mln di righe, poi fai la stessa cosa con il modello, il primo "ammazzerá" il processore, il secondo sarà istantaneo. Ti consigli di guardare prima la playlist introduttiva di pq e pp, li se non ricordo male spiego un po di questi concetti.
@@LodovicoDIncau Grazie Lodovico, ricordo bene il video cui fai riferimento. Ma se io nel file excel ho solo tabelle create con le Power Query, e non ho né Power Pivot (né bi, né tridimensionali) né formule, mi é utile a qualcosa caricare le power query nel modello dati? Modello dati dove non creo relazioni tra le tabelle proprio perché non uso le Power Pivot? Grazie.
@@francalberto2979 , si perchè nel modello dati il dato viene compresso, invece mantenendole in cache sulle pivot non è compresso, le pivot bidimensionali sono molto più veloci di quelle tradizionali e se un domani hai bisogno di fare delle relazioni le pivot "vecchio stile" ti ritrovi a rifarle perchè non saranno compatibili col nuovo modello, l'unica pecca è solo il precaricamento al primo filtro, per il resto penso ci siano solo vantaggi a caricare sempre nel modello.
Ciao Pietra, questo è il corso base che introduce PowerQuery e PowerPivot di excel: ru-vid.com/group/PL18AafU3KwmRy-my-odiFKtM0VaG9OWlr questo invece è il corso di powerquery per intero: ru-vid.com/group/PL18AafU3KwmRppIpQO56M3fjmidQs8lQ3 A presto e buona visione
Ciao Ludovico, non ho ben capito la questione delle variabili d'ambiente ripartite su più dischi. Tu che sei lo sviluppatore preferisci mantenere le variabili utente sul disco C, allora perché nel video hai spostato le variabili del tuo account su D? Io ad esempio ho un portatile aziendale con due dischi ed un solo account utente associato a me. Come dovrei impostare le variabili d'ambiente? Grazie mille e complimenti per il tuo corso.
Ciao Pietro, il ripartizionamento del carico va sempre valutato in base alla propria configurazione. Nel tuo caso se il software é installato nel disco C, io metterei le variabili d'ambiente nel disco D così da dividere sia il carico di scrittura che di lettura su 2 dischi.
@@LodovicoDIncau In effetti ho il software installato su C. Quindi dovrei mettere su D sia le variabili d'ambiente del mio account sia quelle di sistema? Grazie mille per il supporto.
@@pierogiordano si io farei come hai scritto, dovresti guadagnare velocità di scrittura lettura su disco, Ps se hai un disco M2 che ti va a 2.5gbs ovviamente non vedrai differenza perché il collo di bottiglia si sposta su processore e ram :)
Ciao Claudio, purtroppo non ti so rispondere in quanto non ho mai avuto l'esigenza di dovermi connettere ad un sito web in cui vengono richieste le credenziali di accesso, prova a porre la domanda qui: www.mondobi.it Penso che quasi sicuramente qualcuno ti risponderà.
Ciao Ludovico, grazie per le tue magnifiche lezioni. Da poco ho incominciato a usare Power Query, convertendo un file gestito in VBA. Ho realizzato tutti i calcoli nell'ambiente di sviluppo di PQ, tutto funziona bene con poche righe. I problemi inziano quando devo caricare la vera sorgente, una tabella di Excel formata da 200 colonne e circa 1000 righe, è lentissimo. Puoi cortesemente consigliarmi una soluzione, ho impostato PQ come da te indicato. Grazie in anticipo.
Ciao franco, teoricamente 200 colonne con 1000 record dovrebbe caricartela in qualche secondo. Puoi condividermi i 2 file? Magari ci faccio sopra un puntata in rubrica
@@LodovicoDIncauCiao Ludovico, ho risolto il problema analizzando tutti vari step creati in PQ. Avevo realizzato una funzione con List.Sum per un ID progressivo però da assegnare a gruppi di righe, questo rallentava il tutto. La soluzione è stata utilizzare un Gropu By e un Index, adesso è veloce come da te indicato. Cmq grazie per la tua disponibilità. Ho la campanella sempre attiva, ogni tua lezione è subito divorata :-).
Ciao Lodovico, la suddivisione su più dischi è possibile farla anche utilizzando un percorso della cartella del server aziendale oppure funziona solamente in locale?
Ciao Andrea, la suddivisione affinchè sia efficacie è importante che punti a 2 dischi fisici differenti. Se la suddivisione punta su cartelle diverse contenute sullo stesso disco non ottieni risultati perchè la capacità di lettura e scrittura è sempre la stessa, al contrario usando più dischi come minimo vai a raddoppiare.
@@LodovicoDIncau grazie della risposta.quindi vuol dire che se io uso il mio disco c ed una cartella del server allora ottengo il miglioramento spiegato?
Si, però fai attenzione al network che potrebbe diventare il collo di bottiglia, bisogna sempre controllare bene la configurazione della vostra infrastruttura come funziona. L'esempio che faccio nel video è su 2 dischi presenti sullo stesso pc, usando altri dischi appunto va di mezzo il network, un esempio, se hai un network con una banda di 1gbs, se tu e i tuoi colleghi non lo saturate potrebbe essere che ottieni un miglioramento, se saturate la LAN allora avrai un peggioramento. Attenzione anche che se nel disco C monti un disco M2 (2.5/3gbs) succede che vai a partizionare i temporanei usando un network che è ben più lento quindi non ti conviene. Per risponderti di preciso su cosa ti conviene fare avrei bisogno di avere molto chiaro come siete strutturati e che hardware state usando su pc e server :) Spero di non averti fatto confusione e perdona se ho scritto troppo
Dimenticavo anche un'altra cosa importante, bisogna fare attenzione che tra il tuo pc e il tuo server non ci sia di mezzo un firewall hardware perchè in quel caso, in base a come è configurato, potrebbe gestire i pacchetti in un modo che ti farebbe perdere molta velocità, l'infrastruttura è sempre un casino, mille cose da stare attenti ^^ Se monti una pendrive usb3 sulla porta usb3 secondo me vinci facile :) Non ci ho mai provato ma penso vada più che bene
