Фриц Крейслер родился в семье врача; отец его был евреем, мать — немкой. Принял крещение в возрасте 12 лет. С четырёх лет учился игре на скрипке у Жака Обера, и достаточно быстро достиг больших успехов. В семь лет получил право обучаться в Венской консерватории (ныне Венский университет музыки и исполнительского искусства), став самым молодым её студентом в истории, допущенным в виде исключения — по правилам в консерваторию принимались лица не моложе 14 лет. Занимался по классу скрипки у Йозефа Хельмесбергера и теории музыки у Антона Брукнера. В девять лет Крейслер впервые выступил на публике, а ещё через год окончил консерваторию с золотой медалью. Продолжил совершенствоваться в Парижской консерватории у Жозефа Массара (скрипка) и Лео Делиба (теория и композиция). В 1887 году Крейслер получил первую премию на выпускном экзамене, после чего решил начать самостоятельную творческую карьеру.
В 1889—1890 Крейслер совершает концертный тур по США вместе с пианистом Морицем Розенталем, однако публика принимает его весьма сдержанно. Вернувшись в Вену, он поступил в гимназию, а затем два года учился на медицинском отделении университета, после чего служил в армии. В 1896 году Крейслер пытается поступить в оркестр Венской придворной оперы, но не проходит по конкурсу из-за своей слабой способности к чтению с листа, что не мешает ему, тем не менее, начать сольную карьеру. Уже через два года он даёт концерт с Венским филармоническим оркестром, по иронии судьбы, сформированным из музыкантов того самого состава, в который его не приняли.
Настоящее международное признание приходит к скрипачу в 1899 году, когда он впервые выступил с Берлинским филармоническим оркестром под управлением Артура Никиша. В следующем сезоне (1900—1901) Крейслер гастролировал в США, а 12 мая 1902 года дал первый концерт в Лондоне. Английская музыкальная общественность с восторгом приняла скрипача, в 1904 ему была присуждена золотая медаль Лондонского филармонического общества, а композитор Эдвард Элгар посвятил ему свой Скрипичный концерт, впервые исполненный Крейслером 10 ноября 1910 года под управлением автора.
С началом Первой мировой войны Крейслер ушёл на фронт в составе австрийской армии, однако был демобилизован после ранения в октябре 1914 и вскоре уехал в США. В 1924 году скрипач вернулся в Европу, где жил сначала в Берлине, а затем во Франции.
После усиления нацистских настроений в Европе Крейслер в 1938 году вновь уехал в США, где в 1943 принял американское гражданство. Несмотря на тяжёлую автокатастрофу, в которую он попал в 1941 году, он вскоре вернулся к активной концертной деятельности. Последнее публичное выступление Крейслера состоялось 1 ноября 1947 в Карнеги-холле, в течение последующих нескольких лет он ещё выступал на телевидении, но вскоре решил окончательно завершить карьеру музыканта из-за прогрессировавшей слепоты и глухоты (последствий автокатастрофы). Свою уникальную коллекцию скрипок XVIII века Крейслер продал, оставив себе единственный инструмент работы Жана Вийома 1860 года. Последние годы жизни скрипач провёл в Нью-Йорке
