怀橘堂为一层硬山顶建筑，正屋东西两侧有偏厅，西面做为展示陆绩小憩之处，东面用于书房。门上设有“怀橘堂”的额匾。此堂为纪念郁林郡（今贵港）太守陆绩（公元188~219年，吴郡吴县人，今江苏苏州人）而建。
有堂就有匾，“怀橘”一词，取名典故《三国志·吴志·陆绩传》。原指陆绩6岁时，在袁术处作客，塞在怀中三个橘子以带回孝亲一事，陆绩回答袁术之话，表现其奉母礼仪孝道，故被列为“二十四孝——怀橘遗亲”。怀橘堂内有联“修身尚义，仁风拂古道；积善孝亲，寸草报春晖”。上联讲，修养身心，崇尚道义，仁爱之风吹拂在古老的郁林郡道上。下联是说，积聚善行，孝亲长辈，以寸草之心报答父母的养育之恩。这幅对联是对陆绩怀橘孝亲的传统美德的高度赞扬。堂中挂着的是陆绩画像。
吾园筑“怀橘堂”、凿“陆公井”、植“怀橘树”、立“廉石”碑，为纪念苏州陆绩和郁林的一段渊源历史，以表达对陆绩的敬仰之情，同时对传承德孝传统文化和提倡清廉施政有着深远的现实意义。
