منصور دوانيقى خالد برمكى را از كارهاى ديوان بركنار نمود، ابوايوب را بجاى وى گمارد و خالد را بولايت فارس ماءموريت داد و دو سال خدمتش در آنجا بطول انجاميد.ابوايوب كه از مراتب فضل و دانش خالد آگاهى داشت همواره نگران بود از اينكه مبادا منصور دوباره امر ديوان را بخالد محول كند و او را از اين منصب بزرگ معزول نمايد. براى حفظ مقام و قدرت خود بفكر افتاد عليه خالد دسيسه كند، او را از نظر خليفه بيندازد، و از هر راهى كه ممكن است به شخصيت وى آسيب برساند.
تحريكات پنهانى و نقشه هاى غيرانسانى ابوايوب مؤ ثر افتاد، منصور دوانيقى بخالد بدبين شد، او را از ولايت فارس عزل نمود، و با مطالبه سه هزار هزار درهم (سه ميليون ) وى را مورد تعقيب قرار داد. خالد به اطلاع خليفه رساند كه تمام موجوديش از هفتصد هزار درهم تجاوز نميكند اما منصور گفته اش را نپذيرفت و دستور داد همچنان سه ميليون درهم را از او طلب كنند.
((صالح )) صاحب مصلى پنجاه هزار دينار و ((مبارك تركى )) يك هزار هزار درهم به او كمك كردند، ((خيزران )) به خاطر هم شيرى ((فضل )) پسر خالد با ((هارون )) پسر خود يك قطعه جواهر به ارزش يكهزار هزار و دويست هزار درهم براى خالد فرستاد. چون خبر به منصور رسيد و از صحت گفته خالد در مبلغ نقدى كه داشت مطمئن شد از مطالبه پول دست كشيد.
اين امر بر ابوايوب گران آمد، يكى از صرافان را كه مسيحى بود طلبيد، پولى به او داد و از وى خواست اعتراف كند كه آن پول به (خالد) تعلق داشته است و سپس بمنصور خبر داد كه (خالد) نزد چه كسى پول دارد. خليفه صراف را احضار نمود و راجع به پول از وى پرسش كرد. جواب داد فلان مبلغ پول از آن (خالد) نزد من است . آنگاه خالد را به حضور خواند و از آن پول سؤ ال كرد. خالد قسم ياد نمود كه پولى پس اندازه نكرده و آن صراف را نميشناسد. منصور، خالد را نزد خود نگاهداشت و دستور داد صراف نصرانى را بمجلسش آوردند. به او گفت : اگر خالد را ببينى ميشناسى ؟ گفت آرى يا اميرالمؤ منين اگر او را ببينم مى شناسم . منصور بخالد رو كرد و گفت خداوند برائت تو را ساخت ، سپس بمرد نصرانى گفت اين مرد كه در اينجا نشسته خالد است پس چگونه او را نشناختى ؟ صراف گفت يا اميرالمؤ منين امان ميخواهم تا حقيقت را بگويم . امانش داد، او تمام مطالب را بيان نمود. از آن پس منصور دوانيقى نسبت به ابوايوب بدبين شد و به اظهارات او ترتيب اثرنميداد.(45)