Родился в Берлине в семье военного. С 1935 года в Ваффен-СС. В 1936 году был назначен штурмфюрером СС. В 1939 году женился на секретарше Гиммлера. Во время французской кампании 1940 года провел блестящую операцию по разгрому британской батареи в районе Дюнкерка, за что был награжден Железным крестом 1 класса. Принимал участие в боях в СССР, Румынии, Польше. При наступлении в Арденнах именно усилиями его мобильного отряда войска СС добились некоторых успехов, но на общий ход операции они не повлияли.
Иоахим Пайпер был обвинён в расстреле 17 декабря 1944 г. 84 пленных американских солдат во время наступления в Арденнах, близ городка Мальмеди. Согласно докладу подкомитета Сената США, бойня у Мальмеди была только одним из ряда военных преступлений боевой группы Пайпера в ходе Арденнского наступления, в результате которых было убито около 350 американских военнопленных и около 100 бельгийских мирных жителей.
В докладе также отмечалось, что ранее на Восточном фронте один из батальонов группы Пайпера сжёг две деревни и убил всех их обитателей. Хотя лично Пайпер не участвовал в расстреле пленных у Мальмеди (продолжая наступление на Линьевиль), на военном суде он признал свою вину за действия своих подчинённых. Был приговорён к смертной казни, но благодаря адвокату Уильяму Эверетту в ходе расследования, в связи с неправомерными действиями обвинения, приговор был заменён на пожизненное заключение.
В 1958 году был освобождён. Он не был осужден ни за какие другие преступления в ходе войны. После освобождения работал на заводе «Порше», позже в 1970 году переехал жить во Францию. Иоахиму Пайперу пришлось пережить ещё немало неприятностей в связи с его военным прошлым. Он отказался говорить о прошлом и объяснил свое состояние так: «Я сижу на бочке с порохом. Однажды кто-нибудь еще предъявит мне другое обвинение, и бочка взорвется. Я — фаталист. Мир заклеймил меня и моих солдат несмываемым позором. Теперь уже никто не сможет пролить свет на эту тёмную историю, случившуюся у Мальмеди. Вокруг неё нагромождено слишком много лжи».
В июле 1976 года погиб во время пожара в собственном доме. По неподтвержденной информации дом Пайпера подожгла группа французских коммунистов.
Похоронен в Германии со своей семьёй.
