Secondo gli archeologi la chiesa risalirebbe al XIII secolo e originariamente aveva il nome di Madonna di Pin di Poggio, poiché trovandosi a metà strada tra la pianura e la collina serviva “le anime del piano e del poggio”.
Il primo documento scritto che attesta l’esistenza dell’Oratorio della Madonna del Poggio risale all’anno 1669, come narra monsignor Ugolini nella sua visita alla chiesina in occasione della quale assistette alla festa della Madonna delle Nevi celebrata dai pastori del luogo e dei paesini circostanti.
Oggi il B&B e soprattutto la hall, sospesa sopra la sala delle colazioni, sono ricavate dalle mura originali a vista, non potendo il pavimento toccarle a causa del vincolo delle Belle Arti. L'arco adiacente, dal quale si accede ai parcheggi, invece, fu inserito dopo la sconsacrazione della stessa, per ospitare la dogana sull'antica via che portava al paese di Scarlino.

La conduzione familiare dell’attività è una tradizione iniziata dal nonno che volle, alla fine degli anni novanta, dare nuova vita al rudere abbandonato e immerso nel verde ai piedi del paese.
“Nel 1988 mio nonno ha rilevato il rudere ed ha iniziato i lavori di restauro, durante gli scavi sono stati rinvenuti diversi oggetti che originariamente appartenevano alla Chiesa tra cui un medaglione nel quale è possibile leggere la scritta “Miracolosa Effigie di Maria Santissima che si venera nella Chiesa del Rifugio”. I lavori sono terminati nel 1995 quando sono entrati in funzione il B&B e la piscina. Successivamente nel 2010 sono stati inaugurati gli appartamenti in un’altro edificio adiacente alla Chiesa.”
L'operato dei nonni è stato poi affiancato dalla figlia, archeologa e insegnate e dalla nipote che attualmente gestiscono la struttura.
Nonostante le stampelle e l’età il nonno ancora veglia sulla struttura, spesso è possibile trovarlo che si riposa al fresco, sotto le fronde dell’Ulivo secolare sopra la piscina.