Osim osvojene NBA titule, Allen Iverson prilično je sve učinio u svojoj Hall of Fame karijeri. Međutim, 44-godišnjak je svoje zaboravljive Olimpijske igre 2004. s momčadi SAD-a naveo kao nešto što ga progoni:
Da, porazi jako bole, priznao je Iverson putem ESPN-a. Mislim, jer bio sam dio toga. To me progoni jer moj san je bio osvojiti zlatnu medalju, ali način na koji gledam na život su stvari koje sam postigao, poznajem mnogo ljudi iz mjesta iz kojeg potječem koji nisu stigli ni na prag onog što sam ja postigao. Tako da sam zahvalan Bogu da sam imao priliku sve to u životu postići, ali da, to me još uvijek progoni.
Momčad SAD-a je 2004. godine sramotno ispala u polufinalu protiv Argentine, kasnijeg osvajača zlatne medalje, s tim da su Amerikanci kasnije osvojili broncu u utakmici protiv Litve, a brončana medalja zasigurno nije ono što su Amerikanci htjeli donijeti kući.