后晋灭亡后，契丹改晋国为大辽国，后因契丹政治混乱，众人商议推刘知远为帝

天福七年，石敬瑭去世，石重贵即位，并命刘知远为中书令
石敬瑭当了七年儿皇帝，于公元942年（后晋天福七年）死去。养子石重贵即位，是为后晋出帝，刘知远也迁检校太师，进位中书令。
公元944年（后晋开运元年），契丹主耶律德光率军南下，大军直抵澶州，派蕃将伟王领兵进入雁门关。刘知远作为幽州道行营招讨使，在忻口大破伟王，累迁太原王兼任北面行营都统，北平郡王、太尉，之后诛杀吐谷浑白承福等五支部族共四百人，以另一部族的王义宗统领五族中其余的人，又在朔州阳武关再破契丹。 刘知远在这段时期的主要意图是称霸河东，成就王业，因此对朝廷的诏命半推本就，一方面不服调遣，作战中逗留不进，另一方面也主动出击一下。

公元947年（后晋开运四年）正月一日，契丹进犯京师，俘虏了后晋少帝石重贵北去，后晋灭亡。二月一日，耶律德光具办汉族的礼制衣服，登上崇元殿接受朝拜，诏令改晋国为大辽国，大赦天下，称年号为会同十年。刘知远遣牙将王峻向契丹奉表投降，耶律德光诏令褒扬嘉奖，称刘知远为儿子，并赐给一根木拐。按契丹的礼法，贵重的大臣才能得到这种赏赐，就像按汉族礼仪赐给假节一样。王峻拿着木拐，契丹人望见他都纷纷到路边避让。王峻回来后，对刘知远说契丹政治混乱，一定不能攻占中原，于是便商议建国。
这时，秦州节度使何建归降后蜀。十二日，河东行军司马张彦威与他的文武将吏等，认为中原没有主人，刘知远的威望日益隆盛，众心所归，写信劝他登上帝位，刘知远谦让不答应，此后众官三次上书，诸军将吏、贵臣耆老，一个接一个地恳切陈请，才发布文告应允。
刘知远与李三娘的故事被写成南戏作品《刘知远白兔记》中

白兔记
《白兔记》又称《刘知远白兔记》，元代南戏作品，永嘉书会才人编，写后汉皇帝刘知远与李三娘悲欢离合的故事。