嘉佑三年，司馬光出任開封府推官，京城皇親國戚、勢(shì)官大臣、豪強(qiáng)奸猾錯(cuò)雜其間，是有名的難治地方，他不徇私情，秉公辦事，疾惡揚(yáng)善，清廉自守，去奢從儉，一府安然。

熙寧、元豐年間，司馬光居洛陽，洛陽為北宋西京，王公大族的亭臺(tái)樓閣華麗無比，高聳入云。而司馬光家在一陋巷中，房屋是僅能避風(fēng)雨的茅檐草舍。三九寒天，大雪紛飛，因室內(nèi)無炭火，客人凍得瑟瑟發(fā)抖，司馬光很抱歉，只好吩咐熬碗栗子姜湯給客人去寒。歸來后，客人十分感慨。盛夏，屋中又酷熱難熬。司馬光無奈，只好在室中挖地丈余，以磚砌成一室居住。當(dāng)時(shí)洛陽流傳一句民諺：“王家鉆天，司馬入地”。

司馬光的一生，官不可謂不高，祿不可謂不厚，然而他“于物澹然無所好”。為官雖然近五十年，可洛陽只有田三傾，妻子去世時(shí)，只得賣田以葬，自己“惡衣菲食以終其身”。司馬光個(gè)人生活也十分儉樸，平時(shí)“家居食不敢常有肉，衣不敢有純帛”。年老體弱時(shí)，其友劉賢良擬用50萬錢買一女婢供其使喚，司馬光當(dāng)即復(fù)書謝絕，說：“吾幾十年來，食不敢常有肉，衣不敢有純帛，多穿麻葛粗布，何敢以五十萬市一婢乎？”

司馬光在《訓(xùn)儉示康》中寫“有德者，皆由儉來也”，“由儉入奢易，由奢入儉難”，告誡兒子司馬康，讀書要認(rèn)真，工作要踏實(shí)，生活要簡(jiǎn)樸。司馬康沒有辜負(fù)他的期望，一生為人廉潔，口不言財(cái)。

司馬光一生光明磊落，潔身自好，一生儉樸，堪稱一代廉士，“天下以為真宰相”，為人所景仰。