Jos Lussenburg is op 20 november 1889 te Enkhuizen geboren als zoon van David Lussenburg en Baukje Kramer. Na zijn huwelijk met Jantje (Jans) Langendijk (19 juni 1917) vestigen zij zich in het Limburgse Meerssen.
Jos en Jans krijgen drie kinderen: dochter Baukje Sjanzje (21 september 1918, Johannes Koenraad (Hans, 30 november 1920) en zoon Loek (11 februari 1926).

Op 6 maart 1918 verhuist het gezin van vader David Lussenburg naar Nunspeet, waar het huisvesting vindt in het atelier van Jaap Dooyewaard en Jan de Groot (aan de tegenwoordige Harderwijkerweg tegenover De Veluwse Heuvels).

Jos ziet tijdens een bezoek aan zijn ouders in Nunspeet dat het Veluwse dorp een geliefd oord is om er te wonen en te schilderen.
Jos en Jans volgen al snel vanuit Limburg: op 12 augustus 1919. In de jaren daarna verblijft hij wisselend in Nunspeet en Harderwijk. In 1925 vestigt hij zich definitief in Nunspeet, in een boerderij aan de Boschweg 9. Op 11 februari 1926 wordt zoon Loek geboren.