费雯·丽1913年11月5日出生于英属印度西孟加拉邦大吉岭。原名维维安·玛丽·哈特利，父亲欧内斯特·哈特利是不列颠印度军队的一个官员，母亲名叫格特鲁德·鲁宾逊·雅克耶。1912年，他们在伦敦肯辛顿结婚。1917年，父亲被调遣到班加罗尔，维维安与母亲则留在乌塔卡蒙德。格特鲁德试图培养她女儿的文学修养，让她阅读汉斯·克里斯蒂安·安徒生、路易斯·卡罗和约瑟夫·鲁德亚德·吉卜林的作品，以及希腊神话故事。1920年，父母将6岁半的费雯·丽送到了英国伦敦附近的圣心女修道院寄宿学校，维维安在学校学会了钢琴、小提琴等乐器。她在学校的密友是后来同样成为女演员的莫琳·奥莎莉文，她告诉奥莎莉文自己梦想着要成为“一个伟大的演员”。在欧洲游学的维维安于1931年返回英国，她发现一部莫琳·奥莎莉文出演的电影在伦敦西区上映并告诉父母自己梦想成为一个演员。父母非常支持她，成功通过考试的她进入伦敦皇家戏剧艺术学院学习。
