張伯行為官期間，忠于職守，克勤克儉，因而聲名聞?dòng)谔煜拢滴醴Q(chēng)其為“操守為天下第一清官”。

康熙四十五年，張伯行升任江蘇按察使，這是巡撫的屬下。按照當(dāng)時(shí)的官場(chǎng)舊例，新任的官員要給巡撫、總督等上司送禮，以示尊敬，也表示請(qǐng)求以后關(guān)照提拔，這大概需要白銀四千兩。但張伯行秉性耿直，從不巴結(jié)上司，對(duì)此腐敗風(fēng)氣深?lèi)和唇^。他說(shuō)：“我為官，誓不取民一錢(qián)，安能辦此！”拒絕送禮。不但如此，在任內(nèi)他還盡力革除地方弊病，整頓吏治，因而得罪了總督和巡撫，常受到他們的排擠。

康熙四十八年，張伯行奉旨調(diào)任江蘇巡撫。赴任后，張伯行立即發(fā)布檄文《禁止饋送檄》，嚴(yán)禁下屬饋送錢(qián)物，以整頓當(dāng)時(shí)日益盛行的貪腐之風(fēng)。文中寫(xiě)道：“一黍一銖，盡民脂膏。寬一分，民即受一分之賜；要一文，身即受一文之污。雖曰交際之常，于禮不廢。試思儀文之具，此物何來(lái)？”對(duì)于百姓所得張伯行視為民脂民膏，力求賦稅寬簡(jiǎn)。平常公務(wù)也杜絕禮品，不受一分一毫。

雍正皇帝即位后，對(duì)張伯行也很敬重，軍國(guó)大事都聽(tīng)從他的建議。雍正元年，即1723年的9月，升張伯行為禮部尚書(shū)。兩年后，即1725年，一代清官?gòu)埐胁恍也∈牛砟昶呤鍤q?；实圪n謚“清恪”，意思是為官清廉，恪勤職守，很精確地概括了張伯行的一生。