张伯驹一生共娶妻四次，四夫人潘素陪伴张伯驹度过了坎坷的一生

张伯驹养父为他包娶了第一个妻子，在其去世后娶邓韵绮为妻
在潘素之前张伯驹已有三房妻妾，十五六时由养父张镇芳包办娶了安徽亳州女子李氏，她父亲曾任安徽督军。在嫁给张伯驹之前两人并没有什么交往，更谈不上什么感情，张伯驹是在不愿意、不甘心的情况下和她结合的，所以她和张伯驹一直没有建立起真正的感情，而且结婚多年也没有生儿育女。1939年她故去时，张伯驹都没回天津家里。
张伯驹的第二位夫人邓韵绮原是北京的京韵大鼓艺人，韵绮的名字是张伯驹给起的。张伯驹之子张柳溪回忆：“我大妈当年是唱得好的京韵大鼓艺人，我上大学时她已经四五十岁了，仍断不了哼唱几句。她的长相不算娇艳，也不太善于打扮自己，穿着绸缎衣装也不比别人更美，当年主要是唱红了的。她到底是出身贫寒，所以很会料理家庭生活，她能把我父亲在北京的生活安排料理得很好，北京家里的管家和厨师也能够按照我父亲的需要随时侍候，做出令我父亲满意的丰盛菜肴。”
 

张伯驹与其第二三任夫人相继离婚，最后和潘素度过了一生

张伯驹的第三位夫人王韵缃是苏州人，名字也是张伯驹起的。王韵缃的父亲从家乡外出做工在北京安了家。张伯驹经过大中银行职员的介绍看中了王韵缃，就在北池子一带弄了一套小院，娶了王韵缃。不久以后王韵缃就怀孕了，张镇芳早就盼望有个孙子，知道王韵缃怀孕后，就把王韵缃接到天津家里同住。王韵缃生下张柳溪之后，爷爷奶奶就没有再让王韵缃母子回北京，而是留在了天津家里。”（张柳溪“父亲张伯驹的姻缘”）
上世纪20年代末，张伯驹被委派去上海任盐业银行总管理处总稽核时，三夫人王韵缃是准备随行的，但此时王韵缃已管理张府全家的家务和一切收支，再加上张伯驹的父母不愿让孙子张柳溪离开，最终没能成行，而张伯驹去上海后邂逅并娶了潘素。1948年邓韵绮与张伯驹离婚，1952年王韵缃也和张伯驹离了婚。只有潘素留在了张伯驹身边，陪伴他度过了坎坷的一生。