Schefferstaete is gevestigd in vier naast elkaar gelegen panden: Groenmarkt 11 tot en met 21.
Groenmarkt nummer 17 is met 14,9 meter, het breedtse pand uit de straat. Het is gebouwd in het laatste kwart van de achttiende eeuw. Op de plek waar vóór die tijd twee of misschien wel drie huizen stonden. In ieder geval stonden daar de panden Jerusalem en Den Rooden Schild. Jerusalem was het woonhuis van de bekende Dordtse regent Cornelis van Beveren. Hij verkocht het in 1749 voor 16375 gulden. Het huidige woonhuis, gebouwd in opdracht van een burgemeester, kwam in 1922 in handen van de Amsterdamsche Bank. Ruim dertig jaar later, in 1954, vestigde de Kamer van koophandel zich er.
Het smalle pand nummer 19 heeft geen eigen zijmuren. Daarvoor dienen de muren van beide buurpanden. Begin negentiende eeuw was er een kruidenierswinkel in gevestigd en later een kantoor.
Het meeste linkse pand van Schefferstaete, nummer 21, is het oudste van de vier. Het is in 1720 gebouwd voor de Dordtse regent Hugo Eelbo, op de plek waar ooit een bierbrouwerij stond met de naam Den Witten Haen. Het woonhuis met een breedte van 13.4 meter, veranderde in 1935 in bejaardenhuis Huize Johanna. Op de slaapzalen was plaats voor in totaal dertig tot veertig bejaarden. Het huis was tot in de jaren zeventig in handen van de diaconie van de gereformeerde kerk.
Daarna kwam het leeg te staan en trok een aantal krakers erin. In 1984 ontfermde de Kamer van Koophandel zich over het pand. Het meest rechtse pand – nummer 11, 13 en 15 – was een woning totdat meestersmid Jacob Lips er in 1880 een winkel in begon. Hij verkocht er huishoudelijke artikelen uit de smidse, zoals fornuizen, kachels, fietsen en kinderwagens. Later produceerde Lips er enige tijd zijn beroemde brandkasten.
