Trzy żony
W życiu prywatnym nie układało mu się już tak dobrze. W 1970 r. aktor poślubił Gretchen Lewis, ale rozwiedli się po niecałych dwóch latach. W 1982 r. Hartman ślubował miłość Lisie Strain - jednak to małżeństwo zakończyło się już trzy lata później.
Te dwie próby zupełnie go jednak nie zniechęciły i w 1987 r. Hartman ożenił się po raz trzeci. Tym razem z byłą modelką, którą poznał rok wcześniej na randce w ciemno, Brynn Omdahl. Niedługo potem na świat przyszło ich dwoje dzieci.