袁君的古文、骈文，都能抒发自己的思想感情，通晓古人的作文之法，至于写作诗歌，更能充分发挥他的才气工力。一般人心里想说而难以表述的意思，袁君都能表述清楚，因此许多读书人仿效他的诗体。所以《随园诗文集》，从朝廷达官到市井小民，都懂得贵重它。海外琉球国，也有人来寻取这部书。袁君仕宦虽不显赫，然而时论认为，一百多年的，充分享受山林的乐趣，获得文章的盛名，恐怕没有及得上袁君的。
袁君刚入仕途的时候，曾任溧水县令。他的父亲从远方来到溧水县衙所在地，怀疑儿子年轻，缺乏吏治的能力，曾隐满自己的姓名到民间察访，大家都说：“我们县年轻的袁知县，真正是个好官啊！”袁君的父亲这才高兴地进了县衙。在担任江宁知县的时候，曾经早晨治理政务，晚上邀集读书人一起饮酒赋诗，著名的轶事更多。江宁的贸易场所中，有人把袁君所审理的案件，编为歌曲，刊刻流播四方。袁君认为这些不值得一谈，后来决意不要别人记述他做官治事的成绩。
袁君于嘉庆二年十一月十七日谢世，享年八十二岁。夫人姓王，没有生子，抚养堂弟袁树的儿子袁通作为自己的儿子。不久，偏房锺氏又生了儿子名叫袁迟。有两个孙子，一个叫袁初，一个叫袁禧。原先，袁君把他的父母安葬在住地小仓山的北面，留下遗嘱将自己与父母合葬。嘉庆三年十二月乙卯这一天，袁君安葬在小仓山父母墓地的左侧。因为袁君与桐城人姚鼐的先辈有交谊，而姚鼐又住在江宁，与袁君来往时间最长。袁君去世，于是为他写了一篇铭文：“年高德劭，学识广博。著作丰硕，才思无穷。不事雕琢，自然而工。文士宗法，名播海外。和蔼可亲，清虚淡泊。生于越地，为官滨江。优淋终老，两代同墓。是为铭文，刻此幽宫。”