Do této doby sloužil hřbitov v Puklicích, což znamenalo potíže s přepravou nebožtíka a trpěla i důstojnost celého obřadu. V archivu je založen dopis prvního jihlavského rabína Dr. J.J. Ungera ze dne 27. října 1867, kde sděluje městské radě tento neudržitelný stav a mimo jiné uvádí, že v roce 1862 zemřelo v Jihlavě 5 souvěrců, 1863 - 3, 1864 - 9, 1865 - 12, 1866 - 7 a 1867 za prvních devět měsíců již 18 osob. Současně informuje o probíhajícím jednání s majitelem pozemku v katastru bývalé obce Pístov, který je již součástí předměstí Jihlavy a nachází se u křižovatky cest do Batelova a Horního Kosova. Podobný dopis odesílá o den později, 28. října 1867, i předseda ŽNO Leopold Schnürmann. I on zdůrazňuje celkem 54 mrtvých v posledních letech a souhlas majitele vhodného pozemku, Franze Cžapa, s odprodejem za účelem zřízení židovského hřbitova pro zdejší náboženskou obec. Konečné jednání se uskutečnilo dne 3. dubna 1868 za účasti zástupců všech zainteresovaných stran. Za město MUDr. Leopold Fritz, Dr. Grüner, Adolf Kirschner, Johann Swoboda a Johann Lang, za ŽNO Leopold Schnürmann, rabín Dr. Jakob Unger, Hermann Grünfeld a Emanuel Wiener a konečně vlastník pozemku, parcelní č. 244, 245 a 246, Franz Cžap. Připojena je i první skica budoucího hřbitova. Zůstal založen i plán první obřadní síně, který v roce 1868 nakreslil architekt Eduard Rathausky. Připomeňme jen, že byl spoluatorem plánů na jihlavskou synagogu. Všechny uvedené skutečnosti by odpovídaly tomu, že hřbitov byl slavnostně otevřen v roce 1869, tedy rok předtím, než bylo založeno v Jihlavě pohřební bratrstvo Chevra - Kadiša (1870). Některé prameny totiž uvádějí rok založení 1867, což je doba, kdy teprve probíhala jednání o umístění a koupi vhodného pozemku.
Podíváme-li se na první obřadní síň, jde o stavbu velmi prostou, v klasicistním slohu. Na levé straně, při pohledu na přiložený plán, byla umístěna místnost pro potřeby pohřebního bratrstva a dále márnice. Středem procházela chodba z ulice na vlastní hřbitov. Na pravé straně byla místnost pro rozloučení pozůstalých s mrtvým. Od průjezdu se táhla středem hřbitova hlavní cesta, která byla přibližně v každé třetině předělena kolmo bočními cestami. Tím byla celá plocha rozdělena na šest přibližně stejných částí. Tento stav se zachoval dodnes. Dodejme ještě rozměry uvedené budovy: délka 8 a 1/4 víd. sáhu, šířka 4 a 3/4 v.s. a výška budovy asi 3 a 3/4 v.s. To odpovídá cca délce 6,5 metru, šířce 3,7 metru a výšce 3 metry.
K další významné přestavbě došlo až na samém počátku 20. století. Podle dochovaných plánů máme možnost se podívat na dva návrhy obřadní síně. Nerealisovaný projekt od jihlavského stavitele Ignaze Langa, jehož židovská firma zaujímala ve městě významné postavení a podílela se na řadě stavebních zakázek, a na vítězný návrh vídeňského architekta Wilhelma Stassneho, který pocházel z vážené jihlavské židovské rodiny.
Stavitel Lang kreslil plány 7. srpna 1902. Jeho návrh předpokládal uprostřed objektu obřadní síň, na levé straně byt hrobníka a na opačné pak podsklepený prostor márnice s čekárnou. Samotná obřadní síň byla rozdělena na čtyři části, z nichž pravděpodobně největší bal určena k rozloučení se zesnulým. Při posuzování obou návrhů to mělo negativní vliv na konečné rozhodování, neboť prostor byl tímto řešením příliš roztříštěný a ztrácel na velkorysosti, zatím co konkurenční návrh se svým pojetím přímo nabízel. Celkový vzhled se přizpůsoboval stávající synagoze, která byla postavena v historisujícím románskomaurském slohu. Objekt měl být 32,25 metru dlouhý, 9,55 metru široký a 15,8 metru vysoký.
Architekt Wilhelm Stassny se sídlem ve Vídni I., Krugerstrasse 8, nakreslil plány 12. května 1903. Uprostřed objektu byla umístěna velká obřadní síň s katafalkem na jižní straně. V pravé nižší části s průchodem, byl umístěn byt hrobníka. Kuchyň s příslušenstvím a jeden pokoj. Na levé straně byla márnice (Todtenkamer) a čekací síň (Warteraum). Zde byl vjezd pro povozy z ulice na vlastní hřbitov. Celá tato honosná pseudorománská stavba s řadou historisujících prvků byla 34,5 metru dlouhá, 9,95 metru široká a vysoká 13,5 metru. Postavena byla v roce 1904 a téhož roku, 8. prosince, slavnostně vysvěcena Dr. Ungerem, prvním jihlavským rabínem. Na počátku okupace byl objekt vypálen a v archivu je uložena řada písemných dokumentů o probíhajícím jednání mezi ŽNO a městem o případné opravě či demolici. Od 18. dubna 1940 se jednalo až do 12.6.1941. Jednání se mimo jiné účastnili i zástupci Sicherheitsdiens des RFSS - SD - Dienststelle Iglau, zentralstelle für jüd. Auswanderung Prag - Střešovice, Dělostřelecká 11, zástupci radnice i ŽNO Jihlava (Jüdische Kultusgemeiride in Iglau) a to Dr. Meisl. Střední část t.j. vlastní obřadní síň byla nakonec demolována a nahrazena zdí. Ponechány byly pouze nízké objekty márnice s kanceláří a byt hrobníka. Po osvobození se jednalo opět. Tentokrát 4.8.1952 kolem povalení 3 pomníků a hřbitovní zdi v délce 25 metrů a to v důsledku špatného uskladnění uhlí na skládce v sousedství hřbitova. Jednání tehdy vedl za ŽNO Jihlava Karel Meisl, úřadující místopředseda, A. Weissenstein, tajemník a hrobník Jan Dočkal. Poslední oprava střechy a stropu v domku hrobníka nese datum 26. dubna 1955. V roce 1956 už se objevují jen stížnosti na vodu ve sklepě a promáčené podlahy v domku. Koncem 60. let dochází k úplné demolici posledních zbytků kdysi honosné obřadní síně. Dnes je na hřbitově prostý objekt márnice, kde jsou umístěny dvě mramorové desky s hebrejskými modlitbami a deska se jmény donátorů z původního objektu.
Pro úplnost lze poznamenat, že se dochovala i žádost Gabriela Hellmanna na zřízení zděné hrobky na zdejším hřbitově s datem 23. dubna 1925 a plán dřevěné šupny (dřevníku) od Vinzenze Zeizingera z Jihlavy ze dne 3. září 1907, která stála na pravé straně při hřbitovní zdi.