祭遵為人廉約小心，克己奉公，他得到賞賜，都分給部下，不治產(chǎn)業(yè)，家無余財。自己一生，穿皮褲，蓋布被。夫人也裳不加緣，簡樸至極。

有一次，大司馬府中的一位青年人違犯軍紀，依法當斬。于是，祭遵不以自己官職卑微，也不顧這位年輕人乃是劉秀的眷屬，依法將他處決了。劉秀聽罷大怒，將祭遵逮捕下獄。

主簿陳副認為祭遵做得對，便要劉秀赦免他。陳副說：“您常要求眾軍要軍紀整肅，吩咐他們奉公守法?，F(xiàn)在祭遵執(zhí)法毫不回避，這正是您的教令得到貫徹執(zhí)行呀，您怎么能把他辦罪呢?”

陳副這一席話，使劉秀恍然大悟，便原諒了祭遵，并提升他的官職，號為“刺奸將軍”，意為專門除暴去惡的將軍。劉秀對眾將說：“像祭遵這樣的一個嚴于執(zhí)法的人，連我的親屬都處死刑了，當然不會對你們講私情的，你們可得多多防備呀!”不久，祭遵右遷為偏將軍，并以平河北的戰(zhàn)功，封列侯。

祭遵認為，一個人應該經(jīng)常約束自己，嚴加要求，一心一意做公家的事。直至他垂危之際，仍然遺誡“牛車載喪，薄葬洛陽”。

他兄長祭午見他沒有兒女，便做主娶了一妾給他送去。祭遵堅決不受。他認為自己身荷國家重任，因而不敢圖生慮繼嗣之計。臨死時，他告訴家人將自己用牛車拉回，薄葬洛陽。問他家中之事，他一句也不說。

正由于他治軍有方，治家有法，使得他“清名聞于海內，廉白著于當世”，成為東漢王朝的開國功臣。因此，當光武帝劉秀得知他死于任上時，除追謚他為成侯以外，又親臨他的墓地祭奠。