Geboren op 2 november 1893 te Buzet als zoon van metselaar Charles Ghislain Delhaye (geboren te Reves op 26 maart 1865) en van Marie-Thérèse Baudoux (geboren op 27 april 1868 te Buzet). Zijn echtgenote was de dochter van Jean Joseph Baudoux (1825-1911) en van Nathalie Ghislaine Deboulle (1827-1912). Na de oorlog woonde zijn moeder in de Waversesteenweg 1283 te Oudergem. Zij nam de latere honneurs voor Joseph waar.

Hij was bezig aan zijn militaire dienstplicht als milicien van de lichting 1913.
Hij werd bij de mobilisatie op 1 augustus 1914 toegevoegd als soldaat Tweede Klasse bij het 1^ste Regiment Grenadiers. Hij sneuvelde voor het vaderland in Berg op 5 september 1914 tussen de eerste uitval op 25 augustus en de tweede uitval op 12 september van het Belgische leger vanuit Antwerpen. Volgens de verklaring van zijn vader zou hij gesneuveld zijn in de bossen van Schiplaken, maar volgens zijn overlijdensakte zou hij in Berg gevallen zijn, tevens ook de plaats waar hij eerst begraven werd op het gemeentelijke kerkhof. Op 26 januari 1915 werd zijn lichaam ontgraven en herbegraven op de gemeentelijke begraafplaats in Oudergem.

Na de oorlog kreeg zijn moeder postuum van het Ministerie van Landsverdediging zowel de Zege- en Herinneringsmedaille als het Kruis in de Orde van Leopold II toegestuurd.