作者：薛应旂
薛应旂因不黜王烨、而黜褚杰等，得罪严嵩与子世藩，故视薛方山为异党，屡遭迫害，仕途艰险
严嵩与子世藩恨薛方山不黜王烨、而黜褚杰等，视薛方山为异党，务必除之。指使通卿御史桂荣弹劾薛方山考察不公、肆意行事，票旨将他降调。又放话说，要置其死狱。此时，吏部尚书熊浃与掌詹事府事、吏部左侍郎张治等人登门劝说严嵩：方山考察甚公，处置他恐怕舆论不好。严嵩无奈，遂将薛方山降调江西建昌府通判。期间，并讲学于道一书院。
嘉靖二十五年，南京部科等科给事中游震等，集体上奏说方山“考察去留官员甚当”，应当恢复薛方山原职，“照例升擢，庶将来任事任怨之臣有所劝勉”，不宜外补。皇帝下令吏部尚书唐龙覆题：方山“性过自执，学不徇人，疾恶如仇，去奸如脱，诚所谓任事任怨之臣也，宜复京秩”。皇帝批准复职，嘉靖二十五年五月十五日有诰敕一道褒奖薛方山，称其“廉以律己、慎以莅官、惟明惟允、不吐不茹、时论雅重焉”（见《五牧薛氏宗谱》卷一20页），并授其为“承德郎”、封夫人冯氏为安人。
吏部随即升薛方山任刑部陕西司员外郎。嘉靖二十六年丁继母忧、二十八年丁父忧。二十九年补礼部祠祭司员外郎，再升精膳司郎中。期间，翰林李春芳、主事王之诰等经常请薛方山到灵济宫讲学。十月，吏部提议升他为南京五品堂官。因严嵩恨薛方山，不愿他在京城当堂官。当时，浙江按察司缺副使提学，吏部原已提议将佥事范惟一赴任，就改让薛方山补浙江副使员缺。
薛方山到浙江提学副使任上，矢心竭力，巡历岁考、科举各一次，学子们对他评价颇高。在方山就任该职前，嘉靖二十九年十一月十二日有敕谕一道，强调学风的重要性，鼓励他努力工作，云云（见《五牧薛氏宗谱》卷一22页）。
严嵩一伙迫害薛方山的活动始终未断，嘉靖三十二年考察官员时，严世藩到吏部向冢宰万治斋诬告薛方山：在浙江时，打死一童生，是寡妇之子，使那家绝嗣。又重责生员四十，登时致死。而陈文德事先写信给金华等县的童生十二名，让他们上书说因为不让入学，所以恨之甚深，要求严责，云云。万治斋不信，但是吏侍却坚持严世蕃所说，并且讲：虽革去冠带，难申死者之冤。万治斋犹豫，因没有事实根据，只得将其放入不及格之列。将其休官在家。
薛应旂整饬延绥兵备兼分巡河西道，不忘座馆，讲学授课，示范教化
嘉靖三十四年，因陕西盗匪猖獗，又起用薛方山，将其调任陕西鄜州（即当今的‘富县’）兵备副使、陕西按察司副使，整饬延绥兵备兼分巡河西道。巡抚王孝泉钦佩薛方山的学识，在榆林设立学馆，专请薛方山主持，薛推辞说不敢。王孝泉说：边远地方子弟，不懂师范，特委屈先生给他们示范教化。就集合诸生讲学。总制贾樵村得悉后，又在固原设学馆，力邀薛方山讲学，说“非先生不可”。讲学授课成了薛方山在陕西的重要工作。