In der Metzger-August’schen Chronik der Stadt Wolfach wird berichtet, dass französische Soldaten während des zweiten Koalitionskriegs (1799 – 1801) versucht hätten, den Felsen auf die darunter liegende Eichensteinsäge zu stürzen. Das „Gaudium“ ist ihnen aber misslungen. Zur Erinnerung daran errichtete der Verschönerungsverein Wolfach im Jahr 1884 erstmals ein Kreuz auf dem Felsen. Dieses wurde im Lauf der Jahre mehrmals erneuert, zuletzt 1974, 1993 und 2005.
Ursprünglich hieß der markante Steinturm „Rappenfelsen“. Dieser Name kommt in der Region, auch in der näheren Umgebung, öfter als topographische Bezeichnung vor. Er leitet sich von den Raben ab, die gerne an und auf ihnen ihre Nester bauen. In Süddeutschland wurden die schwarzen Vögel „rappe“ (mittelhochdeutsch) oder „rappo“ (althochdeutsch) genannt.