Die ersten Entdecker sichteten an den Ufern massenweise Seeelefanten – so kam die Insel zu ihrem Namen. Es waren aber Menschen, die an den Ufern von Elephant Island das größte und wohl schrecklichste Abenteuer ihres Lebens mitmachten.
Am 05. Dezember 1914 brach die „Endurance“ von South Georgia im Südatlantik auf, um Kurs auf den antarktischen Kontinent zu nehmen. Ziel der „Imperial Trans-Antarctic Expedition“ unter der Leitung von Sir Ernest Shackleton war es, das Weddell-Meer zu durchqueren, am antarktischen Kontinent anzulanden und ihn über den Südpol hindurch zu überqueren. Dazu kam es nie. Von Anfang an hatte die Endurance mit dichtem Eis zu kämpfen. „Ich war auf üble Bedingungen im Weddell-Meer vorbereitet gewesen“, konstatierte Shackleton später, „aber ich hatte gehofft, das Packeis würde im Dezember und Januar locker sein. Was wir aber vorfanden war unglaublich dichtes, zusammengeschobenes Eis von größter Widerstandskraft.“

Im Januar 1915 war es dann endgültig soweit, die Endurance war im Eis festgefroren. Alle Versuche, das Schiff mit Eismeißeln, Hacken und Sägen aus dem Eis frei zu bekommen, scheiterten. „Jede Öffnung, die wir ins Eis schlugen, fror sofort wieder zu.“ erinnerte sich Shackleton. „Schuld daran waren die extrem niedrigen Temperaturen.“ Man stellte sich also darauf ein, in der Antarktis überwintern zu müssen. Völlig an die Bewegungen des umschließenden Eises ausgeliefert, driftete die Endurance zuerst nach Süden bis laut Logbuch ca. 76° 58′ S, dann ging es wieder nach Norden. Das mitgeführte Funkgerät war zwar intakt, aber das Schiff war zu weit abgelegen, um einen Hilferuf absetzen zu können. Anstatt ihrer ursprünglich geplanten wissenschaftlichen Arbeit nachzugehen, versuchte die Besatzung nun, die Moral über die antarktischen Wintermonate hochzuhalten. Mit Laientheater, Fußballspielen und Hunderennen gelang das erstaunlich gut. Am 24. Oktober 1915 dann, der Winter war beinahe überstanden, war Neptun der Expedition nicht mehr hold. Der Druck des Eises begann die Schiffswand an steuerbord zu zersplittern. Shakleton ließ seine drei Rettungsboote und Proviant aufs Eis bringen. Drei Tage lang versuchte die Crew noch, die Endurance zu stützen. Am 27. Oktober 1915 aber musste man sie aufgeben. Zu Fuß machten sich die 28 Männer auf, um nach dem letzten Strohhalm Leben zu greifen: sie marschierten über das Eis nach Norden, im Schlepptau drei Rettungsboote mit Proviant, Geräten und ihren ersten gesammelten Forschungsergebnissen. Teils drei Meter hohe Eiskämme machten das Fortkommen beinahe unmöglich, aber der Wille zu Überleben war stark. Und so stapften sie auf dem Eis weiter, das seinerseits immer weiter Richtung Norden driftete. Am 8. April 1916 brach das Eis plötzlich entzwei. Die Männer stiegen in ihre Rettungsboote und begannen zu rudern. Am 14. April schon stießen sie auf Land: den schmalen Kiesstrand von Elephant Island nämlich. Abgelegen, unbewohnt und nur selten von Walfängern besucht. Die einzige Chance auf Rettung bestand darin, Hilfe zu holen. Zusammen mit fünf seiner Männer setzte sich Shakleton in ein Rettungsboot. Sein Ziel: das 1500km entfernte Südgeorgien. Die tosende See durchnässte schnell alles an Bord, in Windeseile hatte sich über Boot und Crew eine dicke Eisschicht gelegt. Durch Stürme und meterhohe Wellen zappelte das Rettungsboot wie eine Nussschale. Doch wie durch ein Wunder erreichte es am 10. Mai die Küste von Südgeorgien. Gerettet war allerdings damit noch niemand, denn die spärlich besiedelte, von schroffen, hohen Felsenketten durchzogene Insel ist groß und niemand hatte eine Karte oder irgendeine Ahnung, wohin man gehen sollte. 36 Stunden am Stück, ohne Rast, ohne Schlaf, über Bergkämme, steile Flanken, halb gehend, halb rutschend – Shakleton, der mit der Religion eigentlich nichts zu tun hatte, erinnerte sich später an eindrucksvolle Momente: „Ich habe keinen Zweifel daran, dass Vorsehung uns führte. Während dieses langen und aufreibenden Marsches über 36 Stunden über Berge und Gletscher hatte ich oft das Gefühl, dass wir zu viert wären, nicht zu dritt. Hinterher erzählte einer meiner Männer genau das gleiche.“Shackleton stelle eine Rettungsexpedition zusammen und konnte am 30. August 1916 schließlich alle seine Männer von Elephant Island retten. Diese hatten sich in der Zwischenzeit von Robben und Pinguinen ernährt, waren physisch und psychisch in katastrophalem Zustand, aber sie lebten.