宝宝全身冰凉应该通过改善生活习惯、使用药物等方式来改善，具体分析如下：
1.改善生活习惯：如果宝宝全身冰凉，家长不能用厚衣服包裹宝宝，要让宝宝多喝温水，可以使用酒精或温水给宝宝擦拭脚心、手心、额头等部位，可以促进宝宝血液循环。
2.使用药物：宝宝全身冰凉可能是发热导致的暂时性现象，如果随后宝宝的体温升高，可以在医生的指导下使用小儿氨酚黄那敏颗粒、小儿豉翘清热颗粒、小儿感冒颗粒等药物进行治疗。