Dibangun pada abad ke-17 oleh Dutch East India Company. Ini adalah bangunan kolonial tertua di Afrika Selatan, yang awalnya berfungsi sebagai stasiun pengisian untuk kapal-kapal yang melewati perairan Cape yang berbahaya.Kejadian paranormal yang pertama kali dilaporkan adalah ketika penampakan pria jangkung terlihat pada tahun 1915 di salah satu benteng istana.
Pria itu tidak terlihat lagi sampai tahun 1947, sosok ini dikatakan akan terlihat melompat dari sisi salah satu dinding kastil dan berjalan di antara benteng Leerdam dan Oranje.Salah satu cerita paling populer yang terkait dengan Castle of Good Hope ini adalah kisah dari seorang mantan gubernur, Pieter Gysbert van Noodt yang meninggal pada tanggal 23 April 1728, di mana pada hari yang sama ia disebutkan telah menewaskan tujuh tentara yang berhasil melarikan diri dari militer.
Konon diyakini, salah satu tentara telah mengutuknya dan menuntut agar dia datang untuk mengawasi eksekusi, di mana hal ini tidak dilakukan oleh Pieter. Hingga akhirnya di hari yang sama Pieter ditemukan tewas membungkuk di atas mejanya dengan ekspresi ketakutan di wajahnya. Hantu lain yang terkenal adalah Lady in Grey, disebutkan hantu ini kerap dilihat berlari melewati puri sambil memegangi wajahnya dan menangis histeris.
Lalu ada juga kisah di tahun 1700-an, seorang tentara ditemukan tergantung di tali bel di menara lonceng, yang menghadap ke pintu masuk ke kastil. Setelah kematiannya, menara lonceng itu ditutup, namun sampai hari ini bel tersebut dikenal suka berbunyi sendiri, kemudian ditamba ada hantu seekor anjing hitam yang telah diketahui menerkam pengunjung yang tidak curiga, lalu tiba-tiba hilang lenyap begitu saja.
