刘绍棠在婚后不久便四处劳改，其好友胡耀邦为其平反并帮助寻找工作

刘绍棠与妻子在高中时便情投意合，大学退学后便结为连理
上高中时刘绍棠就与同学曾彩美一见钟情，很快发展为恋人关系。
从北京大学退学后，在家人的催促下，1955年8月刘绍棠与曾彩美结婚。因家里拥挤，单位申请住房未果，为了解决燃眉之需，在朋友们的介绍下，1957年夏天，刘绍棠在西城买了光明胡同45号房。
刘绍棠买下房后并没有在这里“享乐”多久，半年后他就四处劳改，在这里居住的是他的父母、妻儿。直到1979年他平反后才重回光明胡同。

胡耀邦与刘绍棠是亲密的朋友，在刘绍棠被批斗时始终为其四处奔走
1951年，绍棠的小说《红花》受《中国青年报》编委兼文艺部主任柳青、总编陈绪宗重视，破格以整版篇幅一次刊发，并大力推荐。刘绍棠由此引起当时主持团中央工作的胡耀邦的关注，两人开始有所联系。
1956年春天，全国青年创作会议上，刘绍棠的一些不当发言引起争议，胡耀邦拒绝了团中央的处分要求，并亲自找刘绍棠谈话。1957年春天，刘绍棠发表的文章遭到了郭沫若、茅盾、周扬等文艺界领导的严厉批判。“反右”斗争开始后，刘绍棠被划为“右派”。胡耀邦又找来刘绍棠，对他的行为予以了教正。1978年，胡耀邦主管全国的平反工作，胡耀邦对刘绍棠指出“你哪里是什么右派，就是骄傲”，并督促其改进。
1962年春天，刘绍棠被正式宣布摘掉“右派”帽子，胡耀邦又积极联系工作单位，给予刘绍棠就业帮助。