Актер начал встречаться с певицей в 2002 году, после съемок фильм «Джильи». Позже пара объявила о своей помолвке и даже назначали свою свадьбу на 2004 год. Аффлек уверен, что всеобщее внимание к их роману повредило его карьере.
«Больше я уже не управлял своей жизнью. У меня были планы, но я все потерял. Я чувствовал себя жалким и подавленным. Я больше никогда не сделаю эту ошибку вновь. Теперь я буду осторожен со всей этой публичностью. Я был жалким подобием самого себя. Многие люди принимали всерьез то, что писали обо мне в то время. Это мне повредило. Поэтому я взял перерыв, уехал, пока все не улеглось».
Сейчас актер счастливо живет со своей женой Дженнифер Гарнер и двумя дочками Вайлет и Серафиной.