Batu Gajah merupakan satu diantara beberapa cagar budaya alam megalitik yang telah ditetapkan pemerintah sebagai situs yang dilestarikan. Batu Gajah ini telah ditetapkan pemerintah Hindia-Belanda sebagai wawasan larangan. Di sisi lain terdapat beberapa ukiran di bagian teras dan dinding batu seperti gajah, ular, harimau, kerbau, relief manusia, serta relief yang diduga merupakan kepala kerbau.

Banyak mitos mengatakan bahwa Batu Gajah ini merupakan tempat kutukan dan luapan amarah Puang Siboro kepada raja, Penguasa Dolok Panribuan yangg idak mampu memncegah incest antara kedua anak kembar Puang Siboro.