Идея фильма о бодрых пенсионерах родилась у Эльдара Рязанова когда он лежал в больнице. Там режиссёр познакомился с пожилым мужчиной, который рассказал, как коллеги из прокуратуры почти насильно выпроводили его на пенсию. Режиссёр пересказал историю своему постоянному соавтору — сценаристу Эмилю Брагинскому, и вскоре появился сценарий о приключениях пенсионеров Мячикова и Воробьёва.
На главные роли без сомнений и проб были утверждены Юрий Никулин и Евгений Евстигнеев. На роль «блатного» молодого следователя режиссёр пригласил Анатолия Кузнецова. Актёр отказался, мотивируя тем, что следователей он уже играл, а вот стариков ещё нет и поэтому согласен только на Мячикова или Воробьёва. Режиссёр главную роль не уступил, а следователем стал Андрей Миронов.
Пробы актрисы Ольги Аросевой режиссёру нравились, но он боялся, что зрители увидят в ней только пани Монику из популярного тогда шоу «Кабачок „13 стульев“». «Хоть один завиток от пани Моники — уберу из фильма!» — пригрозил актрисе Эльдар Рязанов и отправил её осваивать стрельбу из пистолета. Аросева с таким рвением взялась за учёбу, что в дни тренировок ложку не могла поднять — настолько болела рука.
Евгений Евстигнеев не особенно внимательно читал сценарии и любил импровизации на съёмочной площадке. Об этом знали и режиссёр, и коллеги, но так как импровизации порой получались лучше сценария — сильно никто не возмущался. Однако Юрий Никулин не упустил возможности разыграть Евстигнеева — как-то он спросил актёра, готов ли он к завтрашнему дню? «А что у нас завтра?» — забеспокоился тот. «Как, ты забыл сценарий? Мы же прыгаем с парашютами! Я вот уже предупредил семью: мало ли что…» — абсолютно серьёзно сказал Никулин. Евгений Евстигнеев пошёл к режиссёру просить на завтрашние съёмки дублёра. Эльдар Рязанов никак не мог понять какой дублёр, какие парашюты…
На съёмках Юрий Никулин носил седую накладку — свои волосы он красил в черный цвет. Ольга Аросева однажды спросила: зачем ему искусственная седина, когда можно немного подождать и появится своя? У Никулина оказался очень философский и правильный подход: «Я в цирке работаю, клоуном. Если дети будут смеяться над старостью — это нехорошо. Когда я, Балбес, падаю, пусть себе хохочут. А если старичок упадет, над ним смеяться грех. Вот я и крашусь в брюнета».
Существует легенда, что во время съёмок ограбили львовский музей, где снимали «Старики-разбойники». Якобы преступники выдали себя за причастных к фильму, чуть ли не за Евстигнеева и Никулина, попросили порепетировать сцену ограбления и вынесли картины Рембрандта и Рубенса… На самом деле это выдумка. Никакого «львовского музея» не было, а сцену ограбления снимали в трёх местах — около городской ратуши, на лестницах журфака МГУ и в павильонах «Мосфильма». В этих же павильонных декорациях были сняты детектив «Возвращение „Святого Луки“» и приключенческий фильм «Корона Российской Империи, или Снова неуловимые».
