元代，沈家门有了渡口，并在近郊建接待寺，渔港初具雏形。到了宋代，沈家门还是一天然良港，其中“四山环拥，对开两门”，尚无人工港道设施。宋元丰元年（1078），朝廷命左谏议大夫安焘、起居舍人陈睦在定海（今镇海）招宝山下打造“神舟”两艘，一名“凌虚安济致远神舟”，一名“灵飞顺济神舟”。两舟从定海出发，经沈家门，向东至高丽，高丽“国人欢呼出迎”，国王王徽“具袍笏拜受”。
当时，王徽已患麻痹之症，向中国“乞灵药”。翌年，敕内殿承旨王舜封携医者前往，其时，沈家门港已成为中国开往高丽、日本使船和民间航船抛泊之地。崇宁二年（1103）五月，王徽病危，朝廷派遣户部侍郎刘达、给事中吴栻率医官吕月登、弁介、陈尔猷、范之才等出使高丽，使船照例从定海启程，经沈家门、普陀山，直达高丽。是年，王徽病卒，其子王俣嗣位。
王俣在位20年，至宣和四年（1122），王俣卒，按高丽旧俗，兄卒由弟继位，于是诸弟争立。丞相李资深立俣子王楷嗣位，遣使来告。宋徽宗派给事中路允迪、中书舍人傅墨卿前往奠慰。王俣临终前曾向宋朝求医，并奏请“能书（法）者至国中”。故此次出使，由书画俱佳的奉议郎徐竞任船物提举使，携两太医同往。特诏明州新造客舟6艘，神舟两艘，一曰“循流安逸通济神舟”，一曰“鼎新利涉怀远济康神舟”。宣和五年五月二十五日，8舟抛泊沈家门，登陆，“就山张幕，扫地而祭”，祭祀“岳渎（山水）之神”。徐竞等800余人乘8舟进入沈家门港，约在下午3时，沈家门港内忽然“风雨晦冥，雷电雨雹欻至，移时乃止”。傍晚，举行了隆重的祭山祭海仪式。
关于徐竞一行当年在沈家门登陆和祭祀的具体位置，史学界虽经多方探索，但无定论。笔者认为，宋时沈家门，既有“渔人樵客丛居十数家”，说明港内至少有天然埠头可以舣舟。按沈家门地域，所谓“青龙卧镇沈家地，白虎伏视东海门”，西至现在的伏虎山咀，东至现在的青龙山咀，即“一箭之地”，大家似乎没有异议。
在这一地段内，存在两个较大的海湾，一是从伏虎山咀至宫下山脚，古称“西海湾”，内包括今小西湖、教场一带；二是从宫下山脚至青龙山咀，即今新街、泗湾一带，姑称“东海湾”。所谓“岙门深峭”，应指较深的“东海湾”，该湾深度是从今滨港路至区政府，纵深3里多。而舟山群岛大多数岛屿之东南面海湾内均镶嵌着不同大小的沙滩，这些金黄色的沙滩像一弯新月，在青山绿水映衬下，潮水来如飞瀑，退若曳练，终年不息，形成非常旖旎的海山风光。今区政府门前从戚家湾至陈家塘一带，古代是一中等大小的沙滩；今宫墩南下山脚（烟草大楼至西大菜场一带），古称 “汰横头”，无疑是古代渔民们舣舟之处。以今新街为中心的沈家门大海湾，应该是徐竞等一行2艘神舟和6艘客舟停泊之地，而今区政府门前一带，则是徐竞等人当年祭山祭海“祠沙”之处。如今我们纪念沈家门渔港建港历史，可以用多种艺术形式再现当年徐竞一行隆重的祭山、祭海仪式。
元代，从至元十六年灭宋，到至正二十八年灭亡，共90年。这段时间，沈家门渔港平稳发展，出现了沈家门渡。所谓沈家门渡，实为一人工建筑之道头（埠头）。沈家门渡的具体位置，有人撰文认为即在烟草大楼一带（古汰横头），我认为这一分析是合理的。由此登陆，可达宫墩；向西北至教场下，越古大岭，可达舵岙、南岙等地；顺今北安路，可达泗湾。泗湾（古称司湾）是沈家门港内最大一个海湾。明嘉靖胡宗宪《筹海图编》卷五云：“沈家门寨，原系水操之地，有军防守，近皆取回。番船去来，皆泊于此。内有赵岙、南岙、芦花岙、大（舵）岙，去寨三五里……”沈家门渡到了明代，成为沈家门水寨的主要舣船设施；到了清康熙以后，建成东横塘和西横塘，渡口向南移，成为上世纪90年代才拆除的大道头。
泗湾和小西湖是古代沈家门地域内两个海湾，居住着早期的渔民和樵夫。据元《大德昌国州图志》卷三《叙赋·渔盐》条记载：“盖附海之民，岁造鱼鲞，多有引客盐为用……自至元三十年，昉于燕参政 （南康人）之奏，于海边捕鱼时分，令船户各验船料大小，赴局买盐浥鱼鲞。然船户亦有不为渔者，非官司驱迫，鲜有乐于请买。 ”同卷《税课》条载：“往宋以海乡散漫，止产鱼盐，商贾之所不至，故无征禁。至元二十五年始置（税课），每月柜办中统钞一锭一十八两三钱，今增至三锭半有奇矣。”可知元初，船户中已有“不为渔者”的商船，这些商船，把渔民们的鱼鲞通过沈家门渡运往大陆沿海城镇。
当时的沈家门渡不仅是沈家门居民通过海上航行至其他海岛和大陆的津渡，而且是出使高丽、日本的使船以及从事鱼货贩卖的商船抛泊之处，形成了渔港的雏形。倪吾芳先生在《沈家门渡·沈家门水寨·沈家门港》一文中论证“沈家门港的历史应始于元代”是不无道理的。但严格地讲，沈家门港的历史，应从北宋宣和五年算起，而不可从明永乐七年（1409）算起，因明一代实行严厉的海禁，永乐年间，沈家门渔民被遣散，“片板不准下海”，渔业受阻，根本谈不上渔港“开港”。
另，元代时，沈家门之侧建有接待寺，即今天打岩山麓之接待寺。关于接待寺的位置和建造年代，存在两种说法：一谓建于明成化元年（1465），见清《康熙定海县志》：“接待寺，明成化元年，僧德慧建于沈家门深岙。”一谓建于元至元十四年（1277），《大德昌国州图志》卷七：“至元十四年，住持僧如智捐衣钵之余，建接待寺一所于沈家门之侧。”现今，接待寺确有两处，一在今沈家门近郊，即上述天打岩山麓；一在今里山村。从当时的政治、军事和地理环境分析，不难得出两处接待寺的建造年代：沈家门近郊天打岩山麓那座接待寺建于元至元十四年，即所谓“沈家门之侧”；而里山村那座接待寺建于明成化元年，即所谓“沈家门深岙”。“侧”，即近旁，“沈岙”，即较远的山岙，这是十分明白的。
两处接待寺之建，都是为了接待赴普陀山朝山的香游客。里山的接待寺，由于明代沈家门港乃水寨所在地，成为军港，既为军事重地，当然不许渔民居住，更不允许闲杂人等出入或过路，所以，去普陀山的香游客只好从里山经陈家后摆渡到普陀山。而元代，社会比较平稳，渔业正常发展，并设有沈家门渡，所以建接待寺于沈家门之侧，便于人们朝山进香。
由此可见，今天打岩山麓的接待寺乃元代普陀山高僧如智所建，如智曾两次应诏出使日本未果，结果推荐他的继承者一山一宁代替使日。一山一宁乃开创元代中日邦交的普陀山高僧，如智建接待寺时，他正在昌国 （今舟山市定海区）祖印寺当住持，一山和如智有着非常深厚的友谊，如智年迈，就推荐一山出任普陀山宝陀寺住持。一山既为祖印、宝陀两寺住持，当然会多次来到由他管辖的、作为安置朝礼普陀山香游客的沈家门接待寺。
一山国师出使日本时，他所附的商船从宁波出发，经过沈家门，由此我们可以想见当年沈家门接待寺僧众隆重迎接一山的场景。如今纪念沈家门渔港建港历史，不妨采用艺术表演的形式再现沈家门僧俗欢迎和欢送一山国师出使日本的壮丽场景。