潘氏宗祠建于1683年，迄今已有333年历史
历史上，祠堂大修了几次。1817年，族人集资重修，并加建后楼一座，取名为西苑。1998年，族人重修其偏殿，祠堂大水塘的周围堆砌了大石，加建水榭凉亭等。1999年秋季，潘氏宗祠重修。石牌村委会拨专款150余万元，族人及乡亲踊跃捐资30余万元，成立了筹建组，进行大修工程。拆除祖祠，将地面提升1米左右，再按原貌重建祠堂。
门额 是清代进士题写
“潘氏宗祠”门额，是十分珍贵的文物。这是一块石刻的门额，由清代嘉庆年间进士、改庶吉士教馆授编修刘彬华题写，算是一大镇祠之宝。
祠堂大门的横梁等，均为古祠的旧物。木雕做工精美，有浮云、莲花等图案。
祠堂外墙为硬山顶，尖形人字封火山墙，碌灰筒瓦，红砖石脚。前座石柱、石梁、大木门一应俱全，十分漂亮。二进是贻远堂，这里大气、通透，木雕梁架保存较好，灰塑雕粱，焕然一新。壁画诗赋，精工细绘，装饰简朴。厅里显眼位置，悬挂了重修完工后，各乡族赠送的匾额楹联，包括珠村、顺德冲鹤、番禺西村等。
二进 贻远堂
二进是贻远堂，这里大气、通透，木雕梁架保存较好，灰塑雕粱，焕然一新。壁画诗赋，精工细绘，装饰简朴。厅里显眼位置，悬挂了重修完工后，各乡族赠送的匾额楹联，包括珠村、顺德冲鹤、番禺西村等。三进，设立了神坛，供奉着祖先的牌位等物品。其两侧，则存放潘氏龙舟的龙船鼓等物品。
三进 神坛
三进，设立了神坛，供奉着祖先的牌位等物品，供奉太公为一世青旒公，二世仲甫公，三世翰屏公。其两侧，则存放潘氏龙舟的龙船鼓等物品。
和众多祠堂一样，潘氏宗祠如今也是石牌潘姓族人举办大大小小集体活动、居民自治的一个阵地。另外，祠堂也挂牌为村民文体活动中心，设置了乒乓球台、沙包、电视机等物品，街坊闲时可以来此打乒乓球、下棋、聊天。有的村民来这里练练武，打拳。
这个有着700多年历史的城中村，潘氏宗祠的存在融汇了祠堂和民俗文化，彰显了石牌村历史、文化底蕴的深厚。跨越百年后，如今仍旧生机勃勃。在时代的变迁中，传统文化也得到了石牌村民的保护和传承。