Das Schwarzviertel, der älteste Teil Miltenbergs mit vielen schönen Fachwerkhäusern, ist der Bereich zwischen „Schwertfeger Tor“ und Marktplatz. Der Greinberg wirft seine Schatten über das Schwarzviertel, so dass in den Wintermonaten die Sonne kaum bis auf den Boden kommt – daher der Name. Das älteste noch erhaltene Fachwerkhaus Miltenbergs befindet sich allerdings in der Fußgängerzone, Hauptstraße 136, und ist um 1339 gebaut worden. Es ist fälschlicherweise mit Baujahr 1333 beschriftet.