Революция против Прусского правительства, придавшая такой драматизм появлению на свет Клейна, была подавлена уже летом 1849 года.

Клейн учился в дюссельдорфской гимназии. После выпуска он поступил в боннский университет, где изучал математику и физику в течение 1865-1866 годов. Изначально Клейн хотел стать физиком, но еще во время учёбы попал ассистентом в лабораторию профессора Плюккера, который заведовал в университете кафедрой математики и экспериментальной физики. К моменту прихода на кафедру Клейна, профессор сосредоточил свои интересы вокруг геометрии, поэтому и докторскую Клейн защитил в 1868 году по геометрии. В том же году Плюккер умер, оставив главную работу своей жизни незаконченной, и Клейн продолжил дело учителя.

В 1872 году Клейн получает кафедру в Эрлангенском университете. Ему всего 23 года. В этом же году он опубликовал свою «Эрлангенскую программу», которая принесла ему общеевропейскую известность. В программе он предложил общий алгебраический подход к различным геометрическим теориям и наметил перспективный путь их развития. В 1875 году Клейн переходит в технический университет Мюнхена и женится на Анне Гегель, внучке великого философа. Через пять лет Клейн получает кафедру геометрии в Лейпциге. Везде его лекции пользуются неизменной популярностью. Он с жадностью принимается за работу, пытается совмещать научную работу и активную деятельность в качестве редактора, преподавателя и организатора, что в итоге серьезно расшатывает его здоровье. В 1886 году Клейн переходит на кафедру университета Гёттингена, где работает вплоть до ухода на пенсию в 1913 году. В Гёттингене Клейн организует исследовательский центр, который станет образцом для подобных центров во всем мире. Он организует еженедельные встречи-обсуждения, математическую библиотеку и читальный зал. Даже после выхода на пенсию Клейн преподает на дому в течение всей Первой мировой войны.

Умер Клейн 18 октября 1925 года. Кроме знаменитой «Эрлангенской программы» он опубликовал множество работ по неевклидовой геометрии, теории групп Ли, теории многогранников и эллиптическим функциям. Клейн стремился раскрыть внутренние связи между отдельными ветвями математики и между математикой, физикой и техникой. Он сумел первым доказать непротиворечивость геометрии Лобачевского, построив ее интерпретацию в евклидовом пространстве, а также построил модель трехмерной односторонней поверхности, так называемую бутылку Клейна. Свои труды Клейн печатал главным образом в журнале «Mathematische Annalen», редактором которого он был с 1875 года.