根据我找到的信息，3月初扬州的天气大约在10℃至12℃之间，最低气温可能在7℃左右，气温比较舒适，不会过于寒冷，适合泡温泉。因为泡温泉的水温通常在38℃至42℃之间，所以即使在稍微有些冷的天气里，也能给人带来温暖舒适的感觉。

总的来说，3月初扬州的气候并不算太冷，而且都能够提供很好的泡温泉的环境，所以你可以放心地去扬州享受一次舒适的温泉之旅。