Der Rochusberg liegt südöstlich von Zentral-Bingen. Er erstreckt sich von dessen Stadtteil Kempten am Rhein auf rund 3 km Länge in südwestlicher Richtung bis zur Nahe, die im Tal der westlichen Flanke auf den letzten Kilometern vor ihrer Einmündung in den Rhein fließt.
Der Rochusberg liegt im Randbereich (also der ehemaligen Küstenzone) des Mainzer Beckens und führt Quarzit und Schiefer aus dem Devon, da er einen Ausläufer des Rheinischen Schiefergebirges bildet und durch die Nahe von diesem getrennt wird. Die Hänge des Berges sind von den für Rheinhessen typischen Weinbergen geprägt.