小孩發燒37.5℃屬于低熱范圍，通常無需服用退燒藥，但需依據小孩病情判斷是否用藥。具體情況如下：

一、小孩體溫調節中樞較差，易受外界因素影響。若小孩衣服穿得多，散熱功能可能受影響致體溫升高，此時發燒37.5℃由外界因素引起，一般不用吃退燒藥。這種情況下，建議家長給小孩喝溫開水或洗溫水澡。

二、若小孩發燒37.5℃且持續不退燒或體溫繼續升高，可能是病毒感染引起的上呼吸道感染，通常會伴有咳嗽、流涕、打噴嚏、發熱等癥狀。此時，可使用鹽酸苯海拉明軟膠囊、馬來酸氯苯那敏片等藥物治療。同時，建議家長帶小孩參加一些戶外運動，以提高機體免疫力。

總之，小孩發燒37.5℃是否吃退燒藥要綜合考慮，并且對于持續發燒或伴有其他癥狀的情況要及時進行相應治療和采取提高免疫力的措施。