پس از شهادت امام هادي عليه السلام، او برخورد خصمانه اي نسبت به امام يازدهم در پيش گرفت. همواره آن بزرگوار در زندان و حبس و يا مراقبت شديد بود. در اصول كافي از قول علي بن عبدالغفار آمده است كه عباسيان بر صالح بن وصيف داخل شدند، در هنگامي كه امام عسكري عليه السلام در حبس صالح بودند. صالح گفت: من چه كنم با ابومحمد، در حالي كه دو تن از بدترين افراد را بر حضرت گماشتم تا او را آزار و اذيت كنند. ولي هر دوي آنها اهل عبادت و نماز و روزه گشته اند و هنگامي كه به آنها گفته ام نظر شما درباره ي اين حضرت چيست، آنها گفتند چه بگوييم درباره ي كسي كه روزها به روزه و عبادت سرگرم است و شبها به شب زنده داري، و هيچ سخني جز ذكر حق نمي گويد و وقتي ما به او مي نگريم مالك نفس خويش نيستيم. با سخنان صالح بن وصيف عباسيان با ذلت و خواري از نزد او برگشتند [1] .