顏延之為官多年，生性耿直，因而常常得罪權(quán)貴。他看到劉湛等人專權(quán)，心中很是不平，就常常說：“天下之事，應(yīng)當(dāng)和天下人共同治理，難道憑一兩個人的小聰敏就能處理好嗎？”為此，劉湛等人非常恨他，就找個借口將他貶出了朝廷，改任永嘉太守，但是顏延之仍然不改其直。

顏延之很喜歡喝酒，但他生性清廉儉約，從來不謀私利。所以他盡管做了很多年的官，但是家中常常空空的不能自給。為官期間，他也是常常穿布衣，食蔬菜，在郊外獨飲，自由自在，無拘無束。

顏延之的兒子顏俊很孝順，當(dāng)了大官之后，見他的父親日子過得很不富裕，想給父親一些供養(yǎng)。但顏延之卻從不領(lǐng)兒子的情，仍舊住在自己原先的舊房子里，衣服器具，沒有絲毫的改變，一如既往地過著布衣素食的清貧生活。

顏延之喜歡出游，外出時，常常是乘坐著瘦牛拉著的粗笨的車子。顏俊的官位高，出行時總是儀仗顯赫，護衛(wèi)眾多，十分威風(fēng)。顏延之出去時，一遇到兒子的儀仗護衛(wèi)，總是立刻在路旁停車避讓。有時不得已父子倆照了面，顏延之總是說：“我平生最不喜歡見顯要的人物，今天運氣真是不好，出門又碰到了你！”但是他對朋友卻并非如此，他每次出游，如果在街巷碰到老朋友，他總要停下來攀談一番。

有一次，顏延之因為有事，一大早去兒子那里。見兒子的家中已賓客盈門，但顏俊卻仍在睡覺，沒有起床，于是他不禁怒火萬丈。把兒子叫起來，極為嚴厲地訓(xùn)斥道：“你本來出身貧賤，如今算是高高在上了，居然傲慢無禮到了這種地步，你這官還能做得長久嗎？”顏俊聽了，忙低頭認錯。