''On jest okropny!''
Po raz pierwszy ożenił się w 1951 roku z Elisabeth Levitsky,* jednak para rozwiodła się po siedmiu latach.* W 1964 roku ponownie stanął na ślubnym kobiercu, tym razem z Françoise-Antoinette Pancrazzi. Małżeństwo, którego owocem była dwójka dzieci, zakończyło się jednak w 1966 roku. Swoją kolejną, największą miłość Gainsbourg spotkał dwa lata później.
Aktorka Jane Birkin nie znała francuskiego i nie miała w Paryżu żadnych kontaktów, a jednak, dzięki odrobinie szczęścia, urodzie i talentowi, w 1968 roku dostała rolę w filmie „Slogan”.
To właśnie wtedy na planie poznała mężczyznę, który wywrócił jej życie do góry nogami – był nim właśnie **Serge Gainsbourg. Ale nie była to miłość od pierwszego wejrzenia.