Szczęście po latach
Czwartym mężem aktorki został Michael Farmer, piątym William N. Davey. Żaden z tych związków nie dał jej szczęścia, a Swanson wyznawała później, że czuła się wykorzystywana przez mężów.
Wreszcie, boleśnie doświadczona i zrezygnowana, postanowiła nie wychodzić więcej za mąż i skupić się na sobie; zdanie zmieniła dopiero po 30 latach. W 1976 roku wyszła za pisarza Williama Dufty'ego, z którym była aż do swojej śmierci.
Aktorka zmarła 4 kwietnia 1983 roku w wieku 84 lat.