清光绪《定海厅志·祠庙》篇载：“潘府庙，沈公岭西偏，清嘉庆二十一年(1817)重建，光绪三年(1877)又廓新之”。民国《定海县志·营缮篇》亦按其说。一般来说，庙宇的“新建”与“重建”间隔的时间不可能很近，既然在嘉庆二十一年重建，则可以推想其创建时间还得往前推。这说明，位于城东街道三官堂村沈公岭脚下的潘府庙至迟在清嘉庆初年甚或乾隆年间就已建成，至今至少有200余年的历史。由于沈公岭下村山多地少，所有村民无不以上山斫柴、卖柴为生，庙前的村道是卖柴的村民必经之路。每天清晨，成群结队的卖柴村民挑着柴担在庙门前歇脚，所以村民都叫潘府庙为“卖柴庙”，久而久之，真名“潘府庙”倒没人知道了。

走访当地的耆老，我们得知，原潘府庙当时位于老窑，即现今昌洲大道与定白线相交处以东100米处的三联小学位置，因为发源于沈公岭的溪水每每冲垮河道上的桥梁，给进庙烧香的香客带来不便，三十年代迁于沈公岭下西侧的小树岭。五十年代捣毁神龛和菩萨，改为小学校，名曰“潘府小学”，大殿西侧厢房辟为一个四复式班教室。保留了正大门、大殿和戏台。笔者当年就是在那个小学启蒙的。教室的两旁还住着一些剃头的、卖酱油的小贩人家。殿前大院子全部是由石板铺成。读书时印象最深的是，我发现大殿屋檐下的石板上，与屋檐的瓦当垂直处均有手指般大小的洞，那是雨水滴落时造成的，是“水滴石穿”的最好见证，这也证明了这个古庙久远的历史。 1958年，古庙便彻底被捣毁，所有的材料用于建造一个所谓人民公社的大礼堂。世纪之交，才由一些乡贤集资重建三间简陋的大殿，但是东、西两边均已为村民民房所占。规模大不如前了。

潘府庙所祀奉的神祗是明代名宦潘府。

潘府(1453—1525)，字孔修，号南山，明上虞(今浙江)驿亭人，宪宗朝成化二十三年(1487)丁未科进士。孝宗立，授长乐县令。《明史·卷二百八十二》中记载，潘府是一位深得百姓爱戴的好官，任长乐县令时，称他“躬行郊野，劳问民间疾苦，田夫野老咸谓府亲己，就求笔札，府辄欣然与之”。后迁南京兵部主事，向孝宗“陈军民利病七事。值旱蝗、边警，疏请‘内修外攘’‘救时十要’，多被采纳。尚书马文升知其贤，荐迁南京兵部、迁武选员外郎，起拜广东提学副使。嘉靖初起为太仆寺少卿，后改太常”。他在明代的弘治、正德、嘉靖三朝作官，真正称得上“三朝元老”，直致仕归。史称其“居南山，布衣素食，创办南山书院，聚徒讲学。尝言：‘居官之本有三，薄奉养，廉之本也；远声色，勤之本也；去谗私，明之本也。 ’著有《南山素言》、《孔子通纪》，广为传诵”。另有《孝经正误》，并修正《五经四书传注》和《周程四子华》等著作20多种。

潘府的“居官之本有三”说明了他的为官之道，就是一要廉，勤政廉洁，不为俸禄厚薄而损失原则；二是要远离声色犬马，不该去的地方决不去，做到勤政为民，不为淫思所动；三是不要听信小人之谗言，光明磊落，襟怀坦白，大公无私。潘府的这三条箴言立意高远，至今对官场仍有十分积极的意义。

由此看来，潘府不但是一位恪守三条“居官之本”、一心为民谋福祉的廉洁好官，亦且是一位著述丰硕、创办书院聚徒讲学的儒林学士和教育家，在明代史中占有一定的地位。

那么，这位出身于浙江上虞、从未来过舟山的官员，人们为什么会在这里建庙祀奉他呢？这是我们海岛的特殊地理环境造成的。实际上，海岛的土著并不多，明、清朝皇帝曾三次下旨强迫岛民向内陆大迁徙后，到了康熙二十二年才展复，大陆的移民便大量入岛，以浙江境内的镇海、鄞县、慈溪、奉化、上虞、余姚居多，这些移民大多数以垦荒、捕鱼、煮盐、流放、避难为主。由于海岛当地历史曾经几次出现空白，值得祭祀的历史人物少，入岛的居民为求得神灵庇荫，便将在大陆故乡的一些祀奉人物带到岛内建立祠庙进行祭祀。这方面的例子是很多的，如临城的钱王庙就是祀奉吴越王钱霮的；北蝉乡钓门的“张相公庙”就是祭祀宋代驻兵于镇海的一位叫张若水的将军的；城东寿山庙、檀聚庙分别祀奉的是南宋将领尹福生、北宋政治家范仲淹等等。那么，位于沈公岭下的移民，根据其大陆所敬奉的神祗潘府而建立潘府庙，也就不足为奇了。

舟山有很多庙宇中祭祀的对象，善男信女们并不知是哪一位名人，但是他们知道，他一定是一位为人民所崇敬与热爱的英雄或杰出的人物，只有他生前为人们鞠躬尽瘁，人们才会在他死后供奉他，敬仰他，并祈求他成为神灵后继续为人们谋福祉。潘府作为浙江在宋代一名杰出人物，人们有理由祀奉他，这充分反映了人民对体恤民情的官员的无比热爱、对廉政德治社会的殷切追求愿望。