Tragedie z dzieciństwa
Ojciec Oliviera zmarł rok po jego narodzinach. Od tej pory owdowiała matka sama musiała zajmować się piątką dzieci. Po latach doszło do kolejnej tragedii - jeden z braci Hardy'ego zaczął się topić w rzece Oconee. Olivierowi udało się wyciągnąć brata na brzeg, jednak nie potrafił przeprowadzić zabiegu resuscytacji i chłopak zmarł.
Ponieważ przyszły gwiazdor - niepokorny buntownik - sprawiał w młodości poważne problemy wychowawcze, matka podjęła decyzję o wysłaniu go do akademii wojskowej, by tam nauczono go dyscypliny.