Na tomto místě stával středověký hrad Střmen. Občas bývá dáván do souvislosti s "rodem erbu třmene" nazývaným tak z nouze, protože kromě podoby erbu (zlatý třmen) o něm kloudně mnoho nevíme, jen to, že měl rozsáhlé panství na severovýchodním okraji Čech a jeho příslušníci patřili do blízkého okolí prvních přemyslovských králů. To je ale nejspíš omyl, zdejší hrady Střmen a Adršpach měly smysl jedině jako pomezní pevnosti českého království. Rodovým sídlem onoho šlechtického rodu se stal hrad Vízmburk nad údolím Úpy.

Z hradu Střmen se nezachovalo téměř nic, jen díry ve skále pro zapuštění trámů a zdí. Místo je ale nádherné. Bohužel se sem leze (aby to tu lidi nerozdupali) po železném schodišti jako někam na vysílač. Je to vydatná rozcvička.