Το κάστρο, σύμφωνα με το Χρονικό του Μορέως, χτίστηκε το 1256 από τον ηγεμόνα του Πριγκηπάτου της Αχαΐας, Γουλιέλμου Β΄ Βιλλεαρδουίνου, προκειμένου να υποτάξει τους Τσάκωνες που κατοικούσαν στην περιοχή. Το κάστρο ονομαζόταν Castello della Estella δηλαδή Κάστρο του Αστεριού, λόγω της αστεροειδούς χερσονήσου στην οποία είχε χτιστεί. Το κάστρο αυτό κτίστηκε σχεδόν ταυτόχρονα με το Κάστρο της Ωριάς, το οποίο χτίστηκε για τον ίδιο σκοπό. Το 1465, κατά τον πρώτο Ενετοτουρκικό πόλεμο, το κάστρο παραδίδεται στον Ενετό διοικητή του Ναυπλίου, Christophoro de Priuli. Τα επόμενα χρόνια το κάστρο παρήκμασε και οι μεσαιωνικές οχυρώσεις κατέρρευσαν.

Την περίοδο του 1821 οι πλούσιοι έμποροι του εξωτερικού, αδερφοί Ζαφειρόπουλοι (Κωνσταντίνος, Ιωάννης και Παναγιώτης), με καταγωγή από τον Άγιο Ιωάννη, οχυρώνουν το κάστρο φτιάχνοντας εκεί τις κατοικίες τους. Στις 4 Αυγούστου 1826, 1200 στρατιώτες που είχαν κλειστεί μέσα στο κάστρο νίκησαν τον πολυάριθμο στρατό του Ιμπραήμ που το πολιορκούσε. Το 1833, ο Πάνος Ζαφειρόπουλος (Άκουρος), αφιέρωσε το κάστρο στο Βασίλειο της Ελλάδας και στον βασιλιά Όθωνα. Στις αρχές του 20ου αιώνα, το κάστρο εγκαταλείφθηκε και ερημώθηκε.

Το σχήμα του κάστρου είναι σχεδόν τετράγωνο ενώ οι απότομοι βράχοι στα δυτικά και η θάλασσα στα ανατολικά κάνουν το στενόμακρο λόφο οχυρό που δύσκολα κυριευόταν. Το κάστρο έχει δύο πύλες, μία προς το βορειοδυτικό άκρο την οποία προστατεύει ένας ογκώδης κυκλικός πύργος και η δεύτερη στα ανατολικά, που έχει πρόσβαση από το πάνω μέρος του Παραλίου Άστρους. Ο οχυρωματικός περίβολος του σώζεται σε ύψος ως 6 μέτρα και διαθέτει, κυρίως στην ανατολική πλευρά, πολεμίστρες ενώ στο νότιο μέρος του διαθέτει ανοίγματα για πυροβόλα όπλα. Στο πλάτωμα της κορυφής διασώζονται ερειπωμένες αποθήκες, δεξαμενές νερού και οι τρεις κατοικίες των Ζαφειρόπουλων.

H πρώτη κατοικία, του Παναγιώτη Ζαφειρόπουλου, έχει ορθογώνια κάτοψη και είναι χτισμένη πάνω στα θεμέλια παλαιότερου οικοδομήματος. Η δεύτερη, του Κωνσταντίνου Ζαφειρόπουλου, έχει τέσσερα διαμερίσματα, βοηθητικούς χώρους, αποχωρητήριο και στέρνες. Η τρίτη κατοικία, του Ιωάννη Ζαφειρόπουλου, δε σώζεται σε καλή κατάσταση και μοιάζει αρκετά με αυτή του Κωνσταντίνου.