Grad je zgrajen na vzpetini zahodno od vaškega naselja Škrljevo ob severovzhodnem robu šentrupertske ravnine. Stoji na eni najlepših točk in ves severozahodni predel Mirnske doline je zaznamovan s tem objektom do take mere, da vzpostavlja ravnovesje z ostalimi estetsko pomembnimi objekti od Vesele Gore, Okroga, Vihra, Velikega Cirnika do Mokronoga. 

Prva omemba Škrljevega sega v leto 1043, nato pa je od 1072. leta njegova zgodovina vse do 17. stoletja povezana s škofijo Krka na Koroškem. Neposredna zveza z Emo Krško, o kateri trdi Valvazor, da je bila v 10. stoletju lastnica gradu, še ni dokazana, a je močno verjetna. Grad je v svojem jedru romanski, kasneje v gotiki delno prezidan in v baroku dopolnjen s fasadnim učinkom, ki ga ima še danes.