Kamenný kříž Slavonín, cesta k bývalé hvězdárně