Die Fährenpforte, nach der der Turm benannt ist, wurde 1383 erstmals urkundlich erwähnt. Einst war er Teil der mittelalterlichen Stadtbefestigung. Im Jahr 1848 kaufte der Inhaber der Firma Haendler & Natermann den Turm, um darin Bleischrot herzustellen. In diesem Zuge wurde der Turm von ursprünglich 26 Meter auf 40 Meter Höhe erweitert. Im Turmgießverfahren wurde Blei geschmolzen und durch ein Sieb gegossen. Dabei fielen die Bleitropfen wie Hagelkörner in den Brunnen hinab, weshalb der Turm heute noch Hagelturm genannt wird. Bis in die 1980er wurde hier Hagelschrot produziert.

Der historische Packhof wurde als Lagerhaus 1839 bis 1840 an der sogenannten Schlagdspitze errichtet. Er diente gemeinsam mit dem nahe gelegenen Alten Packhof (jetzt Hotel Alter Packhof) während des 19. Jahrhunderts der Lagerung von Waren des Fernhandels.Mit der Aufhebung des Stapelrechts 1823 durch die Weserschifffahrtsakte verlor der Packhof seine wirtschaftliche Bedeutung. Durch seine Größe und die nüchterne Fassade hebt er sich stark von den Fachwerkhäusern der Altstadt ab. Heute werden die Räumlichkeiten für Veranstaltungen und Kunstausstellungen genutzt.Die Hochwassermarken am Gebäude orientieren sich an den historischen Marken am Rathaus, der Kirche und den Häusern in der Stadt.