Милева посвети живота си на семейството си и Албер, на когото все още помагаше в работата му. Водила е професионални дискусии с него, подкрепяла го, правила изчисления и преписвала мислите му. Въпреки това, Айнщайн никога не признава нейния принос за успеха му. Кариерата му се изкачва все по-нагоре и през 1909 г. е назначен за професор в университета в Цюрих. По това време съпругът има и втори син, психично болния Едуард.
Милева се затваряше в себе си, а Алберт се радваше на славата си, създаваше нови контакти през цялото време и особено с жени, за които беше много слаб. През 1912 г. той започва да се среща с братовчед си Елза Льовентал, което постепенно доведе до сериозна връзка. Милева и децата ѝ заминават за Цюрих през 1914 г., Айнщайн за Германия за Пруската академия, където той продължава връзката си с Елза и трите ѝ деца. През 1916 г. бракът е разведен и Алберт веднага се жени за приятелката си.
През 1933 г. те емигрират преди Америка в Хитлер, където той преподава в Принстънския университет. И тук Айнщайн не предаде своите почитатели, на които той обичаше да се посвещава. Въпреки че Елза ревнува и му прави сцени, тя остава с него до смъртта си (1936). Милева така и не се върна при Алберт и се отдаде на психично болния Едуард, който няколко пъти я нападна физически. В крайна сметка той е настанен в психиатрична институция. Милева Марич умира през 1948 година.
Така Алберт оцеля и на двете си съпруги и все пак успя да се влюби на „старите си колене“. Година преди смъртта на втората си съпруга, когато руски скулптор Сергей Коненков го помоли да създаде своя бюст. Очарователната съпруга на скулптора също присъства на срещата им и нищо не пречеше на авантюристичния физик да се съгласи. Започнаха отношенията на съветски агент Маргарита Коненкова и след това 56-годишният Алберт Айнщайн.
Маргарита беше съветски агент, чиято работа беше да представи математическия гений на съветския вицеконсул в Ню Йорк Павел Михайлов. Двойката се срещна дори след завършване на бюста. Маргарита разкри мисията си на своя любим, но дружелюбният физик нямаше нищо против и той се съгласи на шпионажа му, за да могат да прекарват колкото се може повече време заедно. Връзката беше прекратена от руски скулптор, който взе вещите му и, разбира се, съпругата му, а през 1945 г. те се върнаха в Русия. Алберт никога не забравяше за Маргарита и до смъртта си той й пише любовни писма, някои от които се продават на търг в аукционната къща на Сотбис. В залата имаше и снимка на Алберт и Маргарита, предоставена от нейното семейство. Снимката казва: „Поздрави, А. Айнщайн“.
Алберт Айнщайн обаче е исторически записан като виден физик и учен. Той носи Нобелова награда и светът все още я признава за един от най-големите научни способности.