霍去病自幼体弱多病，这可能是由于他的出生环境和长期征战的劳累所致。他的母亲衛少兒是平阳公主的奴婢，而父亲霍仲孺则是平阳县的衙役。他们的私通并没有得到合法的婚姻认可，也没有得到良好的医疗保健和营养补充。霍去病出生后，也没有得到父亲的抚养和关爱，而是由母亲一人带大。这些因素可能影响了他的身体发育和免疫力。

成年后，虽然受到了汉武帝和卫青的青睐和提拔，霍去病也经历了多次艰苦卓绝的战争。从18岁开始，他就随舅舅卫青出征匈奴，历经六次大战，深入敌境，转战千里，屡立奇功。他不仅要面对匈奴人的凶残和狡诈，还要忍受沙漠、草原、山岭、河流等恶劣的自然环境和气候变化。指挥和激励士兵，并处理军政和外交上的复杂事务，这些都给他的身心带来了巨大的压力和消耗。