تنحدر عائلته من أصول تركية كانت مستقرة بمدينة المهدية، قبل أن ينتقل والده مصطفى صفر إلى مدينة تونس عام 1842 للعمل في الجيش التونسي ويتدرج في الرتب حتى أصبح أمير لواء، ثم تقلد خطة وكيل كاتب دولة بوزارة الحرب واستمر في العمل إلى ما بعد انتصاب الحماية الفرنسية. وقد ولد له في الأثناء ثلاثة أولاد أصغرهم البشير صفر الذي أدخله المدرسة الصادقية وكان قبل ذلك قد دخل كتاب الحي. وبعد إنهاء دراسته بتلك المدرسة أرسل على حساب الحكومة التونسية عام 1880 ضمن بعثة طالبية إلى باريس وسنحت له الفرصة بالتالي ليطلع على الحضارة الغربية. غير أنه عاد إلى تونس عام 1882 بسبب قطع المنحة عن البعثة الطالبية. غير أنه استمر بعد ذلك في تكوين نفسه حتى بعد التحاقه بالعمل الإداري، حيث كان يحضر دروس الشيخ سالم بوحاجب في جامع الزيتونة كما كان يطالع صفحة عصره باللغتين العربية والفرنسية.