Παντρεύτηκε το 1489 την Μανταλένα Γκονζάγκα, που πέθανε τον επόμενο χρόνο. Τότε είδε ότι θα έχει αξία μια σύνδεση με την οικογένεια Βοργία, και με την βοήθεια του θείου του, καρδινάλιου Ασκάνιου Σφόρτσα, πραγματοποιήθηκαν το 1492 διαπραγματεύσεις μεταξύ του Τζοβάνι και της δεκατριάχρονης κόρης του Πάπα Αλεξάνδρου ΣΤ', Λουκρητίας. Του τέθηκε ως όρος να μπορεί η Λουκρητία να μένει αν θέλει στη Ρώμη και ο γάμος να πραγματοποιηθεί μόνο μετά από έναν χρόνο.

Η τελετή του γάμου έγινε το 1493 στο Βατικανό. Ο Τζοβάνι και η Λουκρητία έμειναν δύο χρόνια στο Πέζαρο, διάστημα κατά το οποίο η σημασία που του έδινε η οικογένεια Βοργία ως σύμμαχο της ελαττώθηκε. Ο Τζοβάνι εκμεταλλεύθηκε το πλεονέκτημα της γειτνίασής του με τον Βοργία, χρησιμοποιώντας κατασκόπους προκειμένου να μαθαίνει τα σχέδιά του, όμως τις κινήσεις του αυτές ανακάλυψε ο Πάπας Αλέξανδρος. Επίσης, η προτίμηση της Λουκρητίας να παραμείνει στην παπική αυλή, παρά να ζει επαρχιακή ζωή στο Πέζαρο, καθώς και η ανάπτυξη σχέσεων με άλλα δουκάτα, όπως αυτό της Νάπολης, άρχισαν να κάνουν τον γάμο άχρηστο. Παρ' όλα αυτά το ζευγάρι επέστρεψε στην παπική αυλή τα Χριστούγεννα του 1495.

Ο Σφόρτσα γνώριζε ότι η τύχη του διακυβευόταν και έφυγε σε στρατιωτική εκστρατεία. Επέστρεψε στη Ρώμη και έφυγε μεταμφιεσμένος με τη δικαιολογία ότι ο Πάπας και ο γιος του Καίσαρας σχεδίαζαν να τον σκοτώσουν αλλά δεν τους το επέτρεψε η σύζυγός του Λουκρητία, κάτι που δεν αποδείχθηκε, αλλά ωστόσο αποτελεί δημοφιλή εξήγηση της φυγής του.
Διαζύγιο με τη Λουκρητία

Ο Πάπας αιτήθηκε διαζύγιο για λογαριασμό της κόρης του εις βάρος του συζύγου της, και ο θείος του, καρδινάλιος Ασκάνιο Σφόρτσα, προσπάθησε να πείσει τον Τζοβάνι να δεχτεί αυτή την απόφαση. Αυτός αρνήθηκε και μερικές πηγές λένε ότι ισχυρίστηκε ότι έχει παιδιά από άλλους γάμους, οπότε η αδυναμία του ζευγαριού να κάνει παιδί δεν ήταν θέμα δικής του ανικανότητας. Επίσης ο Τζοβάνι κατηγόρησε τη γυναίκα του για αιμομιξία με τον πατέρα της και τους αδελφούς της, ισχυρισμοί που έκαναν την οικογένεια Βοργία να έρθει στο μέλλον σε μεγάλη κατάπτωση και συνεχίζουν να αμαυρώνουν τη φήμη της μέχρι και σήμερα.

Ο γάμος ακυρώθηκε το 1497 και ο Τζοβάνι απειλήθηκε να χάσει ολόκληρη την περιουσία που του δόθηκε ως προίκα αν δεν αναγνώριζε ενυπόγραφα την ανικανότητά του. Τελικά, 6 μήνες αργότερα, αναγκάστηκε να παραδεχτεί με όρκο ότι η Λουκρητία ήταν παρθένα, οπότε κυκλοφόρησαν φήμες ότι η εγκυμοσύνη της Λουκρητίας στον Τζοβάνι Βοργία ήταν αποτέλεσμα αιμομιξίας με τον αδελφό της.

Ο Τζοβάνι αφορίστηκε το 1500 και οι κάτοικοι μιας από τις πόλεις του επιχείρησαν να τον σκοτώσουν. Δέχτηκε επίθεση από τον Καίσαρα Βοργία που κατέλαβε την Πέζαρο και τον έδιωξε.
Αίσιο τέλος και διαδοχή

Ο Τζοβάνι ζήτησε βοήθεια από πολλούς συμμάχους, μεταξύ άλλων από την Αγία Ρωμαϊκή Αυτοκρατορία και τη Γαλλία, όμως κατάφερε να επιστρέψει στην πόλη του Πέζαρο μόνο μετά το θάνατο του Πάπα Αλέξανδρου ΣΤ΄ το 1503 και την έντονη ασθένεια του γιου του Καίσαρα Βοργία, ο οποίος πέθανε λίγο αργότερα. Ο νέος Πάπας Ιούλιος Β΄ κατοχύρωσε την θέση του ως κυβερνήτη της πόλης του Πέζαρο.

Έκανε και τρίτο γάμο με την Τζινέβρα Τιέπολο, που του έδωσε έναν διάδοχο, τον Κωστάντιο Β΄, ο οποίος τον διαδέχθηκε μετά τον θάνατό του το 1510.