En 2001, Hilary Duff commence à sortir avec Aaron Carter. Ils se sont rencontrés sur le tournage de "Lizzie McGuire", où Aaron a joué dans un épisode spécial noel. Leur relation a duré 2 ans. D'aprés des rumeurs Aaron aurait quitté Hilary pour Lindsay Lohan, mais elle s'est avérée fausse. Carter a avoué plus tard être désolé d'avoir brisé le coeur d'Hilary, et lui a écrit une chanson.
En 2004, Hilary sort avec le chanteur du groupe Good Charlotte, Joel Madden. C'est un an plus tard que la mère d'Hilary, Susan, annonce que sa fille sort bien avec Joel, de 8 ans son aîné. Leur relation se finit en novembre 2006, après deux ans et demi de couple. Joel est actuellement marié à Nicole Richie avec qui il a deux enfants.
En septembre 2007, Hilary est photographiée plusieurs fois avec le joueur de hockey NHL, Mike Comrie, de 8 ans son aîné. Hilary assiste à plusieurs de ses matchs et il lui offre pour son anniversaire une voiture estimée à plus de $100 000. Mike Comrie l'a demandé en mariage le 18 février 2010 dans le balcon de leur chambre d'hôtel de Four Seasons Resort à Maui. En Juin 2010, l’actrice et le hockeyeur achetent une maison de 500 mètres carrés dans le très chic quartier de Beverly Hills, pour la somme de 3,85 millions de dollars.