دخل خالد بن صفوان وقال: يا أمير المؤمنين كنت أترقب منذ تقلدت الخلافة أن أجدك خاليا فأقول لك ما أريده
قال أبو العباس: أذكر حاجتك
قال خالد: يا أميرالمؤمنين إني فكرت في أمرك، لقد اقتصرت حياتك على امرأة واحدة، إن مرضت مرضت، وإن غابت غبت، وإن غضبت حرمت، و من الأحسن التقرب من الجواري ومعرفة اختلاف أحوالهن والاستمتاع بهن..
وجعل خالد بن صفوان يسحر الخليفة بحلاوة لسانه وعذوبة لفظه وقدرته على الوصف، فلما انتهى من كلامه، قال له أبو العباس: واللّه يا خالد ما دخل سمعي مثل هذا الكلام من قبل.
بقي أمير المؤمنين مفكرا طول نهاره، ثم دخلت عليه زوجته أم سلمة فلما رأته شارد البال قالت: أراك يا أمير المؤمنين في مزاج غير طبيعي، هل حدث ما تكرهه؟
وبقيت تسأل عن سبب انشغاله حتى حدثها بخبر خالد بن صفوان
فقالت: وماذا قلت لابن الخبيثة ؟
قال: رجل نصحني تشتمينه ! وخرجت من عنده في غضب شديد وأرسلت إلى خالد جماعة من غلمانها ومعهم العصي، فلما وقفوا على رأسه سألوه عن خالد بن صفوان
فقال لهم: ها أنذا، فهوى بعضهم بهراوته عليه، فدخل داره وأغلق بابه وعرف هفوته وعرف من أين جاءه العقاب
ثم حدث ان أرسل الخليفة الى خالد بن صفوان مرة ثانية، وعندما حضر بين يديه قال له: إنك وصفت لي حول النساء والجواري ما لم يدخل سمعي، أعِد علي ما قلت
فقال خالد بن صفوان: فقلت: نعم
يا أمير المؤمنين، أعلمتك أن العرب ما اشتقت اسم الضرتين إلا من الضر وإن أحداً لم يكثر من النساء أكثر من واحدة إلا كان في ضر وتنغيص
فقال السفاح: لم يكن هذا من كلامك أولاً؟
قلت: بلى يا أمير المؤمنين، وأخبرتك أن الثلاث من النساء يدخلن على الرجل البؤس وتشييب الرأس
فقال: برئت من رسول الله صلى الله عليه وسلم إن كنت سمعت هذا منك أولاً أو مر في حديثك
قلت: بلى يا أمير المؤمنين، وأخبرتك أن الأربع من النساء شر مجتمع لصاحبهن يشيبنه ويهرمنه
قال: والله ما سمعت منك هذا أولاً؟
قلت: بلى يا أمير المؤمنين، وأخبرتك أن أبكار الإماء رجال إلا أنه ليست لهن خصاء
قال أمير المؤمنين: أفتكذبني؟
قلت: أفتقتلني؟
قال خالد، فسمعت ضحكاً خلف الستر، ثم قلت وأخبرتك إن عندك ريحانة قريش وأنت تطمع بعينيك إلى النساء والجواري
فقيل لي من وراء الستر: صدقت يا عماه هذا حديثك ولكنه غير حديثك ونطق بما في خاطره عن لسانك
فقال السفاح: ما بك قاتلك الله؟
قال خالد، فانسللت وخرجت فبعثت إلي أم سلمة بعشرة آلاف درهم وبرذوناً وتخت ثياب، انتهى