一般來說，皇帝都是繼承皇位來的，他們還未繼位之時，是宮中的皇子，或者是受封的王爺，他們從小接受皇室的正統教育，享受著最好的資源和待遇，這樣才能在日后更好地統治管理國家。但在漢朝有這么一位皇帝，幼年的他被關進牢中，放出來后又在民間長大，生活只是勉強度日而已，可就是在這樣環境下長的皇子，他最后當上了皇帝，還鏟除了霍家勢力。

二十一歲的漢昭帝早逝，他沒有子嗣，于是劉賀被擁立為皇帝，在位二十七天，荒淫無度，昏庸無能，于是他被廢掉。而霍光憑借著在朝中的勢力將劉詢扶持上位，在民間長大的劉詢就這樣被趕鴨子上架，繼位后，他只是傀儡皇帝，朝中政權仍然是被霍光把握著。劉詢是正統的皇室血脈，他雖沒有在皇室中成長，但當上皇帝之后，也會想要將權力牢牢地握在手中，所以他一直都在隱忍著，積攢實力，只等有一天除掉霍光。

根據史料記載，皇帝去參拜高廟的時候，霍光陪同著，劉詢感覺到了巨大的壓力，他很害怕這位掌握實權的大將軍會篡權奪位，在霍光死后，霍氏一族被鏟除，民間傳言就是因為當時霍光咄咄逼人的“陪乘”，皇帝才會下定決心要除掉他。而當皇帝面對車騎將軍張安世的時候，劉詢就感覺舒服多了，可想而知霍光并非是一位忠心耿耿的臣子。

霍氏戚族在朝中的勢力很大，從皇室到朝堂，處處都有他們的人，根基不穩的劉詢只能是掩藏鋒芒，他雖沒有系統地學習過執政之道，但是年少之時曾經游歷民間，對于民間疾苦還是很了解的，也認識到吏治官員的不足之處。可他表面上只能是裝作傀儡皇帝，還冊封了霍家的霍成君為皇后，就連他的結發妻子許平君許皇后也被霍光夫人派來的女醫毒死。

霍光以為自己能夠“挾天子以令天下”，但其實劉詢是一只披著羊皮的狼，他早已記恨上了霍光，只等有一天能夠奪回大權，但在這之前，劉詢需要保持“愚蠢”，他必須掩藏自己的政治想法，否則他很有可能也會被廢掉，當初劉賀就是被霍光帶著大臣廢掉的。劉詢功夫做得很到位，他表面上很敬重霍光，一切都可以聽霍光的，失去了皇帝的威嚴，在朝堂之上，似乎皇帝并非是最高級別的，第一人是霍光。

這樣的待遇讓霍光以為自己徹底大權在握了，對皇帝也少了很多的戒心和猜疑，有一次他假意要歸還政權，這只是為了試探劉詢，聰明的劉詢知道霍光的意圖，所以他直接拒絕了，毫不猶豫，恭敬地請霍光繼續攝政，還賞賜了霍光七千戶，在每一次的上朝中，劉詢總會以最大的敬意面對霍光，這樣看起來兩人的相處還是挺和諧的。

先前在劉賀二十多天的統治里，大臣怨聲載道，朝堂之上一度氛圍緊張，如今劉詢和霍光如此友好地相處，讓政治局面緩和了許多，這也為后來劉詢的改革政治奠定了良好的基礎，清除霍光勢力后，在他統治期間，政治清明，社會和諧，經濟繁榮，對外強硬，綜合國力最為強盛，去世后，他更是被評為賢君。

那他是怎樣清除霍家勢力的呢？其實霍光是病逝的，前68年三月，皇帝和太后親自臨喪，厚葬霍光，還是以皇帝級別的葬儀葬于茂陵的，但霍家的成員仍然在朝中，是一股不小的勢力。好在沒有了霍光的強權之后，皇帝能夠按自己的想法辦事，朝堂上下齊心，一時間國家發展正盛。

霍光死后，他的妻子霍顯私自將他的墳墓修繕得更好奢侈，而且霍顯還大肆修造宅第，出門乘坐著華麗的轎子，甚至還與外人私通，不止如此，在朝中任職的霍云、霍禹等人害怕皇帝會問責他們平時犯下的罪錯，先前皇帝已經赦免過他們的人了，霍家人認為這就是預兆，所以想著要廢掉皇帝，與人謀劃造反之事。

前66年七月，霍家謀反之事敗露后，霍家一族遭到滿門抄斬，而對于被霍氏所蒙蔽威脅的人，他們沒有犯下具體罪行，女婿告發了謀反之事，于是他被赦免，而霍光的妻子和兒子等人都被殺掉或者自殺，在宮中的皇后霍成君也沒有逃過此禍，被廢掉，居于冷宮中，十二年后自殺了。除去霍家主家的人，長安城中的數千人被牽連族滅。

念及霍光生前的功勞，他的墳墓沒有被株連，但在皇帝命人畫十一名功臣圖的世后，霍光雖是第一，但并未寫出他的名字，只是以“大司馬、大將軍、博陸侯、姓霍氏”尊稱，此后霍光一直被漢朝的歷任皇帝所祭祀。