Nadszarpnięty wizerunek
Wreszcie postanowił niemal zupełnie wycofać się z branży. Ostatecznie znów zrobiło się o nim głośno, ale w dużo mniej chlubny sposób, niż dzięki aktorskim dokonaniom. W 2006 roku media obiegła informacja, że Osment został zatrzymany za prowadzenie samochodu pod wpływem alkoholu i spowodowanie wypadku. Poturbowany aktor trafił do szpitala, a później został skazany na trzyletni nadzór kuratora, grzywnę i odwyk. Z pewnością nie pomogło to jego karierze.