高延宗是文襄帝的儿子，受文宣帝宠爱，三哥被杀后他非常伤心

高延宗是文襄帝的儿子，受文宣帝宠爱，母亲原来是个家妓
高延宗是文襄帝高澄第五子，母亲陈氏，原是北魏广阳王的家妓。 
武定七年（549年），高延宗的父亲高澄去世，当时高延宗年幼，便由其叔父文宣帝高洋抚养。天保六年（555年），高延宗当时已经十二岁，却还经常骑在叔叔文宣帝的肚子上。有时文宣帝甚至让他将尿撒在自己的肚脐中。文宣帝抱着高延宗说可爱的孩子只有这一个。问他想做什么王，高延宗回答说想做冲天王。文宣帝于是询问大臣杨愔，杨愔说天下没有这个郡名，希望能使他安于德行。于是文宣帝便封高延宗为安德王。 

高延宗的四哥打败周军，三哥被杀后他非常伤心
河清三年（564年），高延宗的四哥兰陵王高长恭在邙山之战中大败周军，凯旋回来后，自己陈说阵势如何，诸位兄弟都叹其雄壮。只有高延宗不以为然的说：“四哥不是大丈夫，为何不乘胜追击？假如我高延宗面临如此局势，北周哪里可以还得生存？” 
天统二年（566年），高延宗的三哥河间王高孝琬被他的九叔武成帝高湛杀死，高延宗得知后痛哭不已。将草人做成武成帝的形象，一边用鞭子抽打，一边责问说：“你为什么要杀我的兄长？”高延宗的奴仆检举此事，武成帝将高延宗放倒在地，用马鞭狠狠的鞭打他两百下，高延宗几乎送命。 
武平三年（572年）八月，高延宗被任命为大司徒。 武平四年（573年）四月，高延宗又被任命为太尉。 同年五月，后主高纬派人送毒酒赐死高长恭，高延宗撰写奏书进谏高纬，其泪痕满纸。