Bis 1878 wurden verstorbene Marineangehörige auf den Friedhöfen der benachbarten, oldenburgischen Friedhöfen bestattet, hauptsächlich in Heppens. Von diesen Gräbern scheint nur noch eines erhalten zu sein.
Mit dem stetigen Anwachsen der Marine-Garnison Wilhelmshaven und der Zivilbevölkerung in den Jadegemeinden entstand bald der Bedarf nach weiteren Begräbnisstätten allgemein und einem "Krieger-Friedhof" im Speziellen. Zu diesem Zweck erwarb der Marine-Fiskus 1876 ein Heppenser (und damit oldenburgisches) Grundstück an der heutigen Gökerstraße.
Jedoch zeichnete sich wenige Jahre nach der Jahrhundertwende ab, dass auch diese, zwischen Ulmen- und Zedeliusstraße gelegene Fläche schon bald den Anforderungen nicht mehr genügen würde, zumal ein Ende des Aufwuchses der Garnison nicht abzusehen war.
So begann die Marineverwaltung im Frühjahr 1914, auf einem eigens erworbenen Grundstück in unmittelbarer Nachbarschaft zum - damals Rüstringer - Stadtpark einen weiteren, ungleich größeren Garnisonsfriedhof anzulegen