1931年底，在舞会上维维安认识了年长她13岁的律师赫伯特·利·霍尔曼，维维安同意了他的求婚，并于1932年12月20日结婚，维维安也因此而辍学。
1940年2月，吉尔·埃斯蒙德同意与奥利弗离婚，而霍尔曼也同意与费雯·丽分手，后来他们保持了一生的友谊。8月30日，奥利弗和费雯·丽在圣巴巴拉结婚，只有证婚人凯瑟琳·赫本和加森·卡宁参加了仪式。
1960年，费雯·丽和奥利弗离婚，之后奥利弗与琼·普洛莱特结婚。在他的自传中提到了这些年两人遇到的问题是因为费雯·丽的疾病。费雯·丽和奥利弗离婚后，与约翰·梅里韦尔走到了一起。
