Томсон родился в 1856 г в Читем-Хилле вблизи Манчестера. Изучал физику в лаборатории Бальфур Стюарта в Оуенс-колледже в Манчестере, затем в 1876 году выиграл стипендию на обучение в Кембридже, где проучился до 1880. С 1882 г лектор по математике в Кембридже. С 1884 г. заместил Рэлея, став профессором физики на кафедре экспериментальной физики в Кембридже. В 1882 г удостоен премии Адамса за сочинение о движении вихрей («Treatise on the motion of vortex rings»). В 1890 женился на Розе Пейджт (Rose Paget), у них было двое детей.
В 1881 году Дж. Дж. Томсон ввёл понятие электромагнитной массы, назвав так ту часть массы, которая обусловлена энергией электростатического поля заряженной частицы. Эта работа считается первой работой, в которой обсуждается связь энергии и массы. В 1897 открыл электрон, за что в 1906 году был удостоен Нобелевской премии по физике с формулировкой «за исследования прохождения электричества через газы». Сын Томсона Джордж Пейджт Томсон также со временем стал Нобелевским лауреатом по физике — в 1937 году за экспериментальное открытие дифракции электронов на кристаллах. В 1911 г. он разработал так называемый метод парабол для измерения отношения заряда частицы к её массе, который сыграл большую роль в исследовании изотопов.
В 1914-1916 годах Джозеф Джон Томсон являлся президентом Лондонского общества физиков. Он занимал пост президента Института физики между 1921 и 1923. За научные заслуги Томсон был награждён медалями Б. Франклина (1922 г.), М. Фарадея (1925 г.), Копли (1914 г.) и др. Одним из учеников Томсона был Эрнест Резерфорд, который позже занял его пост.