Ο Γιάννης Χαρούλης γεννήθηκε και μεγάλωσε στο χωριό Έξω Λακώνια του Αγίου Νικολάου στην Κρήτη.

Η πρώτη του επαφή με τη μουσική ήταν σε ηλικία 6 ετών, οπότε και ο πατέρας του, γλύπτης στο επάγγελμα, του έδειξε να παίζει μαντολίνο. Λίγο αργότερα απέκτησε το πρώτο του λαούτο και ξεκίνησε τη μελέτη της παραδοσιακής μουσικής της ιδιαίτερης πατρίδας του. Από την ηλικία των 15 ετών ξεκίνησε να εργάζεται ως οργανοπαίκτης σε πανηγύρια.

Στην Αθήνα εμφανίστηκε για πρώτη φορά ως προσκεκλημένος του Χρήστου Θηβαίου σε μια συναυλία - αφιέρωμα στο Νίκο Ξυλούρη στο Θέατρο του Λυκαβηττού το καλοκαίρι του 2002. Έτσι θα ανέβει για πρώτη φορά στη σκηνή ερμηνεύοντας τα τραγούδια «Κόσμε χρυσέ» και «Οι πόνοι της Παναγιάς», σε μια πολύ συγκινητική και φορτισμένη βραδιά.