A Zsidó Hitközség 1904-ben épült székházának földszintjén található az úgynevezett kis zsinagóga. A Szabadkai Zsidó Hitközség épületét is Komor Marcellnek és Jakab Dezsőnek, a Nagyzsinagóga, a szabadkai Városháza és a palicsi fürdőkomplexum épületei tervezőinek köszönhetjük.
Bár ezt a zsinagógát mindig a kis jelzővel illetjük, befogadóképessége nem is olyan kicsi. A kis zsinagógában mintegy 120 ülőhely található a bimá és a sulchán körüli padokban (emelvény, amin a Tóra felolvasásá raszolgáló asztal van). A zsinagóga déli fala egy harmonikaszerűen kinyitható övegezett faajtó, ami kinyitásával az egész díszterem is a zsinagóga részévé válik. Nem szabad megfeledkezni a női karzat mintegy húsz ülőhelyéről sem. A hideg téli hónapokban így akár néhány száz hívő is részt vehetett az istentiszteleten.
A keleti, a Jeruzsálem felé néző falon található a frigyszekrény, amiben a Tóratekercseket őrzik. Ugyanezen a falon kétoldalt egy-egy ólomüveg ablak díszeleg, amiken Noé bárkája, a békegalamb és Salamon templomának kupolája látható.
A kis zsinagóga falait és mennyezetét gazdagon díszítik a falakra felfestett aprólékos virágminták és mintegy 2000 darab Dávid-csillag. A zsinagóga 1996-os restaurálása nagy kihívás volt, és igényes munkát követelő folyamat volt. A helyreállítási folyamatot szakképzett mesteremberek minőségi anyagok felhasználásával négy hónap alatt fejezték be.
A kis zsinagóga súl, vagyis iskola is volt. A második világháború előtt a zsidó iskolás fiúknak szombatonként itt tartottak istentiszteletet, hogy megtanulhassák az egész zsinagógai imarendet. Ezeket az órákat rabbi vezette.
Péntek esténként Szombatfogadó istentiszteletet, vagy az ünnepi imákat előimádkozó vezeti. A belgrádi zsinagógán kívül ez az egyetlen zsinagóga Szerbiában, ahol ma istentiszteleteket tartanak.
A turisták számára a kis zsinagóga nem látogatható.
