Nieudane małżeństwo
Życie uczuciowe Freemana było niezwykle bujne - jeszcze zanim zaczął robić karierę aktorską, doczekał się dwóch nieślubnych synów, Alfonso (który też jest aktorem; pojawił się obok ojca w "Skazanych na Shawshank" i "Siedem", a także w "Siostrze Betty" czy "Choć goni nas czas"), i Saifoulaye.
W 1967 roku poślubił Jeanette Adair Bradshaw i adoptował jej córkę z poprzedniego związku, Deenę Adair. Małżeństwo przetrwało dwanaście lat, a Freeman okazał się bardzo odpowiedzialnym ojcem - traktował Deenę jak własne dziecko i nawet kiedy rozstał się z Jeanette, nie zamierzał zrywać kontaktu ze swoją przybraną córką.