桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　桓公入洛，過淮、泗，踐北境，與諸僚屬登平乘樓，眺矚中原，慨然曰：“遂使神州陸沈，百年丘墟，王夷甫諸人，不得不任其責！”袁虎率而對曰：“運自有廢興，豈必諸人之過？”桓公懍然作色，顧謂四坐曰：“諸君頗聞劉景升不？有大牛重千斤，啖芻豆十倍於常牛，負重致遠，曾不若壹羸牸。魏武入荊州，烹以饗士卒，於時莫不稱快。”意以況袁。四坐既駭，袁亦失色。

　　謝公在東山，朝命屢降而不動。後出為桓宣武司馬，將發新亭，朝士鹹出瞻送。高靈時為中丞，亦往相祖。先時，多少飲酒，因倚如醉，戲曰：“卿屢違朝旨，高臥東山，諸人每相與言：‘安石不肯出，將如蒼生何？’今亦蒼生將如卿何？”謝笑而不答。