后來因為他都督荊州諸軍事等功勞，加官到車騎將軍，地位與三公相同，但他上表堅決推辭，說："我入仕才十幾年，就占據(jù)顯要的位置，因此日日夜夜為自己的高位戰(zhàn)戰(zhàn)兢兢，把榮華當(dāng)作憂患。我身為外戚，事事都碰到好運(yùn)，應(yīng)該警誡受到過分的寵愛。但陛下屢屢降下詔書，給我太多的榮耀，使我怎么能承受？怎么能心安？現(xiàn)在有不少才德之士，如光祿大夫李熹高風(fēng)亮節(jié)，魯藝潔身寡欲，李胤清廉樸素，都沒有獲得高位，而我無能無德，地位卻超過他們，這怎么能平息天下人的怨憤呢？因此乞望皇上收回成命！"但是皇帝沒有同意。

晉武帝咸寧三年，皇帝又封羊祜為南城侯，羊祜堅辭不受。羊祜每次晉升，常常辭讓，態(tài)度懇切，因此名聲遠(yuǎn)播，朝野人士都對他推崇備至，以至認(rèn)為應(yīng)居宰相的高位。晉武帝當(dāng)時正想兼并東吳，要倚仗羊祜承擔(dān)平定江南的大任，所以此事被擱置下來。羊祜歷職二朝，掌握機(jī)要大權(quán)，但他本人對于權(quán)勢卻從不鉆營。他籌劃的良計妙策和議論的稿子，過后都焚毀，所以世人不知道其中的內(nèi)容。凡是他所推薦而晉升的人，他從不張揚(yáng)，被推薦者也不知道是羊祜薦舉的。有人認(rèn)為羊祜過于縝密了，他說："這是什么話?。」湃说挠?xùn)誡：入朝與君王促膝談心，出朝則佯稱不知--這我還恐怕做不到呢！不能舉賢任能，有愧于知人之難??！況且在朝廷簽署任命，官員到私門拜謝，這是我所不取的。"

 羊祜平時清廉儉樸，衣被都用素布，得到的俸祿全拿來周濟(jì)族人，或者賞賜給軍士，家無余財。臨終留下遺言，不讓把南城侯印放進(jìn)棺柩。他的外甥齊王司馬攸上表陳述羊祜妻不愿按侯爵級別殮葬羊祜的想法時，晉武帝便下詔說："羊祜一向謙讓，志不可奪。身雖死，謙讓的美德卻仍然存在，遺操更加感人。這就是古代的伯夷、叔齊之所以被稱為賢人，季子之所以保全名節(jié)的原因??！現(xiàn)在我允許恢復(fù)原來的封爵，用以表彰他的高尚美德。羊祜是成功的，上至一國之主，下至黎民百姓，都對他表示敬佩。羊祜的參佐們贊揚(yáng)他德高而卑謙，位尊而謙恭。

總之，譚老師老師表示，低調(diào)是一種領(lǐng)導(dǎo)智慧，低調(diào)是高明的領(lǐng)導(dǎo)風(fēng)格——是為人處世的黃金法則，懂得低調(diào)的人，必將得到人們的尊重，受到世人的敬仰。