Am langgestreckten Grat des Berges ist zu erkennen wie dieser von Gletscherströmen der Eiszeit umflossenen und dabei abgeschliffenen wurde. Durch die steil abfallende Nordseite und die eher sanft gestufte Südfront, bietet sich der Bussen dem Betrachter je nach Sichtwinkel entweder als flache Erhebung oder als steil aufragender Kamm dar. Auf dem Rücken des Bussens sind Spuren einer langanhaltenden menschlichen Besiedlung sowie historischer Bebauung zu erkennen. 

Am prägnantesten erscheint heute dabei die hell ins Umland hinausstrahlende Wallfahrtskirche St. Johann Baptist an der südwestlichen Bergspitze. Die Kirche, welche im Volksmund schlicht "Bussenkirche" genannt wird, wurde zuletzt 1960-1963 grundlegend umgestaltet und erweitert. Die Verehrung der schmerzhaften Muttergottes ist auf dem Bussen allerdings schon mindestens seit 1521 bezeugt. Auch heute im 21. Jahrhundert ist der Bussen nach wie vor ein "Heiliger Berg" sowie ein geistiges und geistliches Zentrum Oberschwabens geblieben. 

Hierher wallfahren die Menschen mit ihren Sorgen und Nöten zur schmerzhaften Muttergottes. Seit über 50 Jahren ist der Bussen Ziel einer großen Männer- bzw. mittlerweile Familienwallfahrt am Pfingstmontag. Außerdem führt schon seit über 40 Jahren die "Wallfahrt der Treue", des Verbandes der Heimkehrer, zum Heimkehrer-Mahnmal (Einweihung am 31. August 1958) auf den Bussen. 

Auf einer Kuppe im Nordosten liegt dagegen der Rest einer einstigen Burganlage. Die sogenannte "Bussenruine". Zudem finden sich tiefer unten am Hang mehr oder minder umfangreiche Fragmente einstiger Wall- und Grabenanlagen. 

Der Landkreis Biberach erwarb 1997 die Burgruine, und das sie umgebende Gelände, vom fürstlichen Haus Thurn und Taxis. In Folge dessen richtete dieser die geschichtsträchtige Anlage wieder so her, dass vom Bergfried aus die herrliche Fernsicht rundum möglich ist. So schweift der Blick bei guter Witterung von den bayrischen bis zu den schweizerischen Alpen sowie vom Ulmer Münster weithin über die Schwäbische Alb.

Spätestens seit dem 13. Jahrhundert befand sich nachweislich eine Burganlage auf dem Bussen. Ob sie zum Reichsgut gehörte oder einer der Ministerialfamilien, lässt sich nicht sagen. Die Habsburger allerdings erwarben sie um 1281 als Hausgut und wollten den Bussen zur Befestigung ausbauen. Adelige Vögte verwalteten fort an ihren Besitz von hier aus. Die adeligen Familien waren zur "Burghut" verpflichtet, hatten in Kriegszeiten Dienst zu tun. Im 14. Jh. erhielten die Truchsessen von Waldburg den Bussen samt Burg als Pfand. Der Berg gehörte zu dessen sogenannten "Herrschaft Bussen", die jedoch Lehen Österreichs blieb. Im Dreißigjährigen Krieg, im Dezember 1633, zerstörten die Schweden die Burg. Weil Dürmentingen inzwischen Verwaltungssitz der Herrschaft war, wurde die Bussenburg nicht mehr aufgebaut. Sie zerfiel und wurde als Steinbruch genutzt. Im Jahr 1785 erwarb dann Fürst Anselm von Thurn und Taxis die Herrschaft Bussen. Um 1870 sicherte das Haus Thurn und Taxis die zerfallene Anlage und richtete die gut erhaltenen Reste des Bergfrieds als Aussichtspunkt ein. So zeugt die Ruine von Herrschaft und Politik und mahnt um Frieden und Verständigung.