谢安被称为“乌衣子弟”，不拘礼法劝侄女和女儿离婚改嫁，受郝隆讽刺为“小草远志”

谢安因居秦淮河畔，而被称为“乌衣子弟”
谢安与王导等世家大族皆居秦淮河畔，乃三国时代孙权旧部乌衣部队之驻地，世称乌衣巷。后泛指富贵人家的子弟。

谢安不拘礼法，欣赏真性情的女子，因侄女和女儿婚姻不幸福，而劝其离婚改退，导致多年互不往来
谢安欣赏真性情的女子，他曾听人说梁山伯与祝英台的故事，深受感动，上奏请求表其墓为“义妇冢”。他的嫂嫂王夫人曾经不顾礼节亲自出面从席上带走其子，谢安不以为忤，反而赞叹王夫人情辞慷慨，可惜不能让朝中大臣们一见。他所欣赏的妻子刘夫人和侄女谢道蕴，也都是这样的真性情女子，前者曾屡屡戏弄谢安，后者曾当全家人的面鄙薄自己的丈夫，这些不合“礼法”的行为在谢安看来却是出自真性情，非常值得欣赏。
谢安为吏部尚书的时候，王导的嫡孙王珣娶谢万的女儿为妻，王珉娶谢安的女儿为妻，均夫妻不和。谢安鄙薄王珣为人，不惜与琅琊王氏嫡系一支交恶，径自让侄女和女儿离婚改嫁。双方因此不通往来许多年。
谢安隐居多年出仕后受郝隆讽刺为“小草远志”
谢安高卧东山隐居至四十余岁，不愿出仕。后来朝廷一再催促，让他出山做官。因为东晋王朝依靠世家大族，失去大族的支持，统治便岌岌可危，而谢氏是当时著名大族。谢安这时才答应出山，担任大将军桓温的司马。碰巧的是，谢安去拜见桓温时，有人送给桓温草药，其中有远志一味。桓温见物起意，问谢安说：“这种药又被称为小草，为什么有两种称呼呢？”谢安还没来得及回答，坐在一旁的另一位名士郝隆应声答道：“这有什么难的。在山中叫远志，出山就叫小草。”谢安听了郝隆的话，知道郝隆在讥讽自己高卧东山，素而远志，但出山却只当一个小小的司马，不由脸上露出惭愧之色。后来以“小草远志”指隐居与出仕，或以小草谦指自己居官低微。