pięciokrotnie żonaty: 1. Geraldine Higgins (rozwód); 2. Sussie Welles (rozwód); 3. Elizabeth Farnesworth (rozwód); 4. Virginia Field (1942 - 1946, rozwód), córka Margaret (ur. 1945); 5. Jan Sterling (od 12.05.1950 do jego śmierci), syn Adams (ur. 1955)