戈雷岛是由隆起的玄武岩形成的山丘。岛南北长900米，东西长300米。

从新石器时代起，非洲人就经常光顾小岛，岛上发现的玄武岩工具与曼努埃尔角和马德拉群岛上发现的玄武岩工具相同。

1444年，葡萄牙人迪尼斯迪亚斯到达该岛，这块非洲领土与欧洲首次建立了联系。戈雷岛成为渔夫的天下。戈雷岛的第一个名字取自1481年在此建立教堂的葡萄牙人菲亚德帕尔马，不过他从未将该岛占为己有。

这个火山岛的优越地理位置为欧洲人进入非洲提供了便利：它是奴隶船的理想交接站，躲避内陆袭击的理想停留地，岛上还有一眼清泉。直到1580年被西班牙抢走之前，戈雷岛一直被葡萄牙占有。

没过多久，荷兰促使戈雷岛摆脱西班牙的监护，接管了这块本属于葡萄牙的非洲领地。1627年，荷兰首先在该岛建立永久居民区。取消了小岛的原有名称，改称戈雷岛（戈雷港）。

荷兰人修建了两座要塞：奥兰治要塞建于城中，拿骚要塞建在山坡上。50年后，法国占领戈雷岛，直至塞内加尔独立。其间有30 年的时间，戈雷岛被英国占领（1693年，1779－1783年，1800－1817年）。1677年，经过激烈的海战，法军元帅让德斯特雷从荷兰手中抢走了戈雷岛，两座要塞被毁。重建后更名为圣米歇尔要塞（以前的奥兰治要塞）和圣佛郎西斯要塞（以前的拿骚要塞）。1693年，冈比亚的一名英国官员破坏了要塞并占领了戈雷岛，但只过了6个月，法军反攻重占该岛。66年后，即1758年，戈雷岛重新落入英国之手。5年后根据1763年巴黎和约，戈雷岛归还法国。 1779年，首次发生黄热病，根据政府命令，戈雷岛上的要塞被夷为平地，改作单一贸易货栈，居民疏散到圭亚那和圣路易斯。这样，英国人不费吹灰之力重占戈雷岛。直到1783年才按照梵尔赛条约归还法国。