Родился в крестьянской семье. Участвовал в Первой мировой войне в звании унтер-офицера. В июне 1918 по заданию подпольного Бобруйского уездного комитета партии большевиков создал партизанский отряд, действовавший против немецких войск. С декабря 1918 по апрель 1919 работал в Бобруйской ЧК, затем окончил курсы комсостава. В 1920—1925 гг. руководил партизанскими отрядами во входившей в состав Польши Западной Белоруссии по линии «активной разведки» Разведывательного управления РККА. Под его руководством были проведены десятки боевых операций, в результате которых было убито свыше 100 жандармов и помещиков.
Позже окончил Коммунистический университет национальных меньшинств Запада имени Мархлевского (1930). В 1925—1937 работал в органах ГПУ (затем НКВД) Белоруссии, начальником участка ГУЛАГ на строительстве канала «Москва—Волга» начальником участка. В 1937—1938 выполнял боевые задания во время гражданской войны в Испании, затем работал в органах НКВД СССР. В 1939—1940 учился в сельхозинституте.
В 1941 г. после начала Великой Отечественной войны вошёл в состав Особой группы НКВД, которую возглавлял Павел Судоплатов. С октября 1942 по август 1943 успешно руководил крупным партизанским отрядом «Соколы», действовавшим на территории Барановичской области. 17-18 февраля 1943 года отряд под командованием Орловского К. П. (12 бойцов) на одной из дорог Барановичской области совершил атаку на конвой Генерального комиссара Белоруссии Вилигельма Кубе; в результате налета были убиты гаупткомиссар Фридрих Фенц, обергруппенфюрер СС Захариус, а также 10 офицеров и более 30 солдат. Отряд Орловского потерь не понес; сам Орловский был тяжело ранен и в результате лишился кистей обеих рук и на 3/4 утратил слух. Орловский продолжал руководить отрядом до вывода в безопасное место.
Герой Советского Союза (20 сентября 1943). Утратив способность лично активно участвовать в работе органов госбезопасности в связи с инвалидностью, Орловский К. П. обратился с личным письмом к Сталину И. В., в котором просил разрешить ему возглавить один из наиболее разрушенных колхозов в Могилевской области Белорусской ССР и давал обещание возродить его и сделать колхозом-миллионером. Просьба Орловского К. П. была удовлетворена Правительством СССР. С января 1945 Орловский К. П. избран председателем колхоза «Рассвет» Кировского района Могилёвской области. Под руководством Орловского колхоз «Рассвет» стал первым в послевоенном СССР колхозом-миллионером.
Является прототипом главного героя фильма «Председатель» и, возможно, главного героя романа Э. Хемингуэя «По ком звонит колокол» — Роберта Джордана. На его родине установлен бронзовый бюст Героя Советского Союза и Героя Социалистического Труда и открыт музей.
