Al viaggiatore che nel 1500 giungeva a San Vigilio e attraccava al porticciolo, una scritta incisa su una lapide in marmo, posta sull'arco di accesso, lo esortava a "lasciare gli affari e gli affanni alla città" e ad apprezzare e godere la tranquillità del luogo. Sono passati alcuni secoli ma nulla è cambiato: quella tranquillità è la medesima.

Lungo il viottolo acciottolato o il viale di cipressi, all'ombra di ulivi secolari che costeggiano la Baia delle Sirene, sul pittoresco porticciolo, ovunque regna un'atmosfera di serenità che permette di allentare per qualche ora, o meglio ancora per qualche giorno, i ritmi frenetici ed incalzanti della vita quotidiana e di poter tornare "agli affari e agli affanni della città" con spirito riposato.

Attratti dal fascino del luogo, molti personaggi famosi hanno soggiornato a San Vigilio: lo zar di Russia Alessandro II, Winston Churchill, Laurence Olivier, Vivien Leigh e, negli anni più recenti, ricordiamo il principe Carlo d'Inghilterra, il re Juan Carlos di Spagna e il presidente tedesco Richard Von Weizsacker.

Molte anche le leggende legate al luogo che da sempre ha attirato l'interesse di scrittori, poeti ed artisti.
Una di queste narra che un discendente del fauno Satiro di nome Vigilio, qui giunto dalla Sicilia, si innamorò della ninfa Stella ma non essendo da lei ricambiato, la tramutò in uno scoglio: lo scoglio della Stella ben visibile dalla Taverna.
Il luogo ha ispirato da sempre poeti e scrittori che ne hanno cantato le bellezze e l'atmosfera particolare.