Der in Kendenich geborene Zimmermann war der Kopf und eindeutige Anführer der Nationalsozialisten in Hürth. Er hatte als Unteroffizier am Ersten Weltkrieg teilgenommen und nach dem Krieg als Töpfer in den Ribbert'schen Tonröhrenfabriken in Hermülheim gearbeitet. 1931 wurde er arbeitslos.
Er war seit dem 14.05.1926 NSDAP-Mitglied und gründete noch in diesem Jahr eine Ortsgruppe der Partei in Hermülheim, deren langjähriger Leiter er war. Auch seine beiden jüngeren Brüder Anton und Adolf traten in Hürth als aktive Nationalsozialisten auf. Von 1927 bis 1945 war Jakob Zimmermann zeitweilig Kreisleiter, Kreishauptamtsleiter und Kreisschulungsleiter der NSDAP im Landkreis Köln.
1935 wurde er zum hauptamtlichen Beigeordneten und am 01.04.1944 noch zum Bürgermeister der Gemeinde Hürth ernannt. Von Juni 1945 bis zum 15.12.1947 saß er in alliierter Internierungshaft und wurde am 06.12.1947 vom Spruchgericht Bielefeld wegen Zugehörigkeit zum Korps der Politischen Leiter der NSDAP zu neun Monaten Gefängnis verurteilt.
Vom Entnazifizierungsausschuss des Regierungsbezirks Köln wurde er 1948 zunächst in die Kategorie III ("Minderbelastete") eingestuft, 1950 folgte eine Rückstufung in die Kategorie IV ("Mitläufer") mit dem Verbot einer Beschäftigung im öffentlichen Dienst bis zum 21.07.1952.
Zimmermann lebte nach dem Krieg bis zu seinem Tod zurückgezogen in Kalscheuren. 1955 nahm er eine Bürotätigkeit bei der Firma Göppner in Hermülheim auf. Die Gemeinde Hürth wehrte sich lange gegen eine Pensionszahlung an Zimmermann, aber 1958 konnte er in einem Vergleich doch die Zahlung von 50 % der Pension durchsetzen, die ihm als Beigeordnetem und Bürgermeister zugestanden hätte.