Keskajast pärinevat Kihelkonna-Loona mõisa (saksa k Kadvel) on esmamainitud 1506. aastal, kui see kuulus Ewald Rösele. 1513.aastal ostsid mõisa von Loded, kes ehitasid selle välja kivist kindluselamuna (vasallilinnusena). Von Lodede aadliperekonna valduses püsis mõis kuni 1791. aastani, sealt tuleneb ka selle eestikeelne nimi. Hiljem oli mõis nii von Stackelbergide, von Bergide, von Osten-Sackenite kui ka von Ekesparrede omanduses. 1820-aastatest kuni võõrandamiseni kuulus mõis von Hoyningen-Huenede aadliperekonnale. 

 

Mõisa peahoone kohal paiknes keskajal vasallilinnus, mille müüre on säilinud hoone keldriosas. 17. sajandil püstitati keskse mantelkorstnaga ühekorruseline peahoone. 1785. aastal ehitati hoone põhjalikult ümber, lähtudes baroki nõuetest. 19. sajandil lisati esifassaadile kolmnurkfrontoon. Ka kõrvalhooned kujundati klassitsismile kohaselt. 

  

Võõrandamisjärgselt seisis peahoone pikka aega kasutuseta. 1997. aastal renoveeritud mõisahoones asuvad praegu külalistemaja ja restoran. Suures ja korrastatud pargis on lisaks häärberile säilinud mitmed hooned: tõllakuur, tiigi ääres ait-kuivati (tänapäeval kasutuses puhkemajana), aednikumaja (tänapäeval kivimaja, fossiilide muuseum), karjakastell (tänapäeval näitusemaja, milles paikneb Vilsandi rahvuspargi teabepunkt ning püsinäitus rahvuspargi ajaloost ja looduskaitsest) ning piimakelder.