Состязания по решению математических задач в той или иной форме существуют с давних времен. Достаточно вспомнить состоявшийся в 1535 году знаменитый математический поединок между Фиоре и Тартальей, при подготовке к которому последний вывел формулу для решения кубических уравнений. Среди европейских математиков того времени было принято предлагать коллегам «задачи на размышление», что в каком-то смысле играло ту же роль для заявлении о каких-либо математических результатах, какую сейчас играют научные публикации. Однако практически все математические состязания и поединки в то время носили спонтанный характер.
Заочные конкурсы по решению задач в России начали проводиться с 1886 года, с того же года в Румынии проводятся очные математические конкурсы для выпускников лицеев. А в 1894 году в Венгрии по инициативе Венгерского математического общества и известного физика Лорана Этвёша состоялась и первая математическая олимпиада для выпускников гимназий. Лауреатами венгерских математических олимпиад впоследствии становились всемирно известные математики: Липот Фейер, Теодор фон Карман, Альфред Хаар, Марсель Риис, Габор Сеге.
В нашей стране крупная математическая олимпиада в современной форме впервые была проведена в Ленинграде в 1934 году. Произошло это во многом благодаря усилиям Б.Н.Делоне, О.К.Житомирского, В.А.Тартаковского, Д.К.Фадеева и Г.М.Фихтенгольца. Проводилась она в то время в несколько этапов (открытый заочный, после него – письменный очный этап и завершающий очный этап), причем только для старшеклассников. Позже, в 1939 году, в олимпиаде стали участвовать и 9-классники, а с 1940 года – 8-классники. К 1969 году олимпиада стала проводиться для учеников с 5 по 10 классов. Особенностью ленинградских олимпиад, сохранившейся до сих пор, был устный завершающий этап, на котором школьники рассказывали решение задач членам жюри.
На год позже ленинградской была проведена математическая олимпиада и в Москве (1935 год). В оргкомитет вошли известнейшие советские математики, профессора МГУ А.Н.Колмогоров, П.С.Александров, Л.А.Люстерник, Л.П.Шнирельман, В.Ф.Каган, С.А.Яновская . Успех первой московской олимпиады подтолкнул организаторов к созданию школьного математического кружка при МГУ. Начала выпускаться специальная литература для школьников-математиков.
Через некоторое время математические олимпиады начали проводить и в других крупных городах СССР (в Тбилиси, в Киеве и др.) Достаточно быстро олимпиадное движение распространилось по всей стране. В 1960 году группы школьников из девяти союзных республик и нескольких областей РСФСР были приглашены на заключительный этап Московской олимпиады. А в следующем, 1961 году совместно со вторым туром Московской олимпиады была проведена и первая Всероссийская олимпиада , на которую пригласили по четыре человека со многих областей и республик. В первые годы Всероссийская олимпиада проводилась в Москве, позже право ее проведения было предоставлено и другим городам страны. Олимпиада получила определенную самостоятельность. С 1967 года олимпиада получила статус Всесоюзной.
Примерно в то же время состоялась первая Международная математическая олимпиада школьников. С инициативой выступило Румынское математическое и физическое общество. Летом 1959 года в Бухаресте собрались школьники семи стран Восточной Европы. Позже количество стран-участниц увеличилось. Так, в последней математической олимпиаде в Мексике приняли участие школьники 98 стран мира. Проведение всероссийских и всесоюзных математических олимпиад позволило отбирать представительную команду СССР на международную олимпиаду. Традиционно наши школьники показывают очень высокие результаты, находясь в числе лидеров в командном зачете.
Значительно возросшее количество участников математических олимпиад привело к определенным организационным трудностями при их проведении, поэтому с 1975 года структура Всесоюзных олимпиад была некоторым образом изменена. Количество этапов возросло, а количество участников заключительного этапа сократилось. На пути «к вершине» юным математикам предстояло преодолеть школьный, районный и городской, областной, республиканский и всесоюзный этапы. Призеры очередного этапа олимпиады допускались к участию в следующем, таким образом организовывался достаточно жесткий отбор.
С распадом СССР в 1991 году возобновилось проведение всероссийских олимпиад. Структура практически не претерпела изменений. Сейчас всероссийская олимпиада включает в себя пять этапов: I – школьный, II – районный и городской, III – областной, IV – окружной , V – заключительный (всероссийский).
Помимо «главной» олимпиады, проводится олимпиада Высшая проба 2015-2016, а также большое количество других математических олимпиад. Вот уже 25 лет проходит математический «Турнир городов». В 90-х годах получили распространение Соросовские олимпиады школьников по разным предметам. Появилось большое количество заочных математических олимпиад, традиция проведения которых идет еще с советских времен.