双屿港成为走私贸易的根据地始于1526年（明嘉靖五年）。当时海寇邓獠（獠是领的尊称）引来南海各国“番夷”占据此地；接着，从福建越狱的李光头（李七）和许栋（许二）等也参加进来了。中国的海商即海寇李光头和许栋兄弟，以双屿港为根据地，招引葡萄牙人、日本人以及南海各国人，往来于各港口，展开东亚海上的国际走私贸易。这些海商走私贸易所经营的中国商品是多方面的，有生丝、绢织物以及丝绵、绵布、锦绣、水银、铁锅、陶瓷器、药材等。

台州蛇蟠岛曾是双屿岛的分埠。