Dał kosza boskiej Loren
Pobrali się w 1957 roku i od tamtej pory byli nierozłączni zarówno w życiu osobistym, jak i na scenie. Występowali razem w przedstawieniach teatralnych i filmach i, jak twierdzili, nigdy nie mieli się dość.
Kiedy Voit zdobywał coraz większą popularność, dorobił się licznego grona wielbicielek. Krąży plotka, że oparł się samej Sofii Loren, która zachwyciła się nim na festiwalu w Cannes i złożyła mu ponoć niedwuznaczną propozycję.
Był jednocześnie pełen sprzeczności. Z jednej strony kochał samotność i był człowiekiem skrytym, z drugiej – gdy tylko miał okazję, chętnie rzucał się w wir imprez. Ale żona przymykała oko na ten jego hulaszczy tryb życia i, na dobre czy złe, trwała wiernie u jego boku.