"O scenie nigdy nie myślałem"
Urodził się w Warszawie, gdzie jego ojciec piastował stanowisko dyrektora towarzystwa ubezpieczeniowego. Gdy nadszedł kryzys i firma zbankrutowała, zrozpaczony mężczyzna niedługo potem zmarł, zostawiając żonę samą z trójką dzieci.
Rodzina przeniosła się do Wilna i to właśnie tam dorastał młody Edward. W tym mieście na scenie zadebiutowała też jego siostra Hanna (na zdjęciu).
- Hanka zawsze chciała zostać aktorką, ale ja o scenie nigdy nie myślałem - twierdził Skarga w "Dzienniku Zachodnim".
Jego najstarsza siostra, Barbara, została wybitną i cenioną filozofką.