7 марта 1881-го был арестован в связи с волной арестов после цареубийства, совершенного народовольцами. Следствием был установлен факт антиправительственной пропаганды Карелина среди столярных рабочих. Проведя полгода в тюрьме, был освобожден под надзор полиции. Весной 1882-го выдержал экстерном экзамен на аттестат о среднем образовании, после чего уехал в Казань, где поступил подмастерьем в сундучную мастерскую. В сентябре того же года был снова арестован и сослан в город Цивильск Казанской губернии. Бежал из ссылки и перешел на нелегальное положение, работал в партии «Народная Воля». Весной 1883-го Карелина вновь арестовывают. Он был препровожден в Петропавловскую крепость и после 14-ти месяцев заключения сослан в Усть-Каменогорск Семипалатинской области. Отсюда он переехал в Ульбитскую станицу. Вскоре Карелин дебютировал статьями «Об Ульбитской общине» в «Восточном обозрении» Н. М. Ядринцева и «Отхожие и кабальные рабочие» в «Юридическом вестнике» (под псевдонимом Макаренко). Вернувшись из ссылки в Казань, он занялся журналистикой. Сотрудничал в газете «День», «Волжский Вестник», «Казанский Биржевой Листок». В 1888-м году в Казанском университете сдал экзамен на звание кандидата юридических наук. В ноябре 1888-го переехал в Санкт-Петербург, где попытался объединить разрозненные студенческие кружки на платформе «Народной Воли». В 1890-м был опять арестован и провел в тюрьме 2 месяца. После отсидки продолжал заниматься революционной деятельностью, за что в 1892-м ссылается в Яренск, а затем в Вологду. В том же году дебютировал брошюрой «О кустарничестве в России» (псевдоним К. Репин). Находясь в ссылках, активно печатался в «Экономическом Журнале», «Русской мысли», «Северном Вестнике» и других периодических изданиях, выпустил две книги: «Общинное владение в России» (СПб., 1893) и «Краткое изложение политической экономии» (СПб., 1894). В Вологде Карелин находился до 1898-го г., отсюда он переехал в Юхновский уезд Смоленской губернии, где служил секретарем земской управы. Здесь, а затем в Ельце Орловской губернии, он собрал богатейший фактический материал для обоснования общинных теорий. Попутно Карелин сотрудничал в «Смоленском вестнике» и в «Орловском вестнике». В 1900-м году он перебрался в Иркутск, где работал в местной печати и выступал защитником в уголовных делах, не беря за защиту денег. Некоторое время примыкал к эсерам, принимал участие в революционных событиях 1905-го г. Был арестован, но вследствие Манифеста 17 октября освобожден и в конце того же года под угрозой нового ареста бежал за границу.

С 1906-го поселился в Париже. В эмиграции Карелин окончательно прогрессировал в сторону анархизма. Он присоединился к анархо-коммунистическому течению П. А. Кропоткина и повел активную работу среди эмигрантов. В течение 1909-10-го гг. ему удалось объединить разнородные анархические группировки Парижа в «Федерацию Вольных Общинников», которой была поставлена типография и налажен выпуск периодических изданий, брошюр и книг. Карелин вел кружки пропагандистов, в том числе из числа российских моряков, после чего осуществлялась засылка агитаторов в Россию. Также налаживалась связь с русскими анархистами в Америке. Карелин участвовал в ряде анархических журналов (например, в журнале «Хлеб и Воля» была опубликована его статья «К вопросу об анархическом коммунизме»), а также сотрудничал в «Парижском Вестнике» и «Современнике» А. В. Амфитеатрова. Он напечатал ряд брошюр под псевдонимами, в 1912-14 активно сотрудничал в органе Федерации Союзов русских рабочих Соединенных Штатов Америки и Канады «Голос Труда», одно время фактически являясь его редактором. Благодаря его усилиям анархические группы возникли почти во всех крупных городах Соединенных Штатов. Еще одним направлением работы Карелина стала организация «Черного Креста для помощи заключенным анархистам.

Вернувшись в Россию после революции в августе 1917-го, он поселился в Петрограде. При его участие развертываются анархические журналы «Буревестник», «Труд и Воля», газета «Черное Знамя». Карелин часто выступал на митингах, читал лекции. В марте 1918-го перебрался в Москву, где издавал газету «Свободная Коммуна», участвовал в работе Московской Федерации анархических групп. Будучи избран во ВЦИК, он вместе с А. Ге (Гегером) и Р. Эрдманом (Долининым) организовал анархическую фракцию. Следуя своим принципам, он не принимал участия в голосованиях, резко выступал против смертной казни, предлагал амнистировать политзаключенных. Оставался членом ВЦИК до конца 1918-го года. Входил в комитет по борьбе с антисемитизмом. Выступал поручителем и защитником в суде над арестованной анархисткой М. Никифоровой. Сотрудничал в анархических «Голосе Труда», «Почине» печатался в «Известиях ВЦИК» и других изданиях. В послереволюционное время Карелин выпустил несколько брошюр, участвовал в организации Всероссийской Федерации анархистов и Всероссийской Федерации анархо-коммунистов, входил в их секретариаты, редактировал орган ВФАК «Вольную жизнь». Также он входил в секретариат Московского Союза анархистов, организовал анархический клуб, в котором развил бурную лекторскую деятельность, и участвовал в восстановлении «Черного креста». Его квартира в 1-м Доме Советов стала одним из центров собраний анархистов.

Карелин принадлежал к числу так называемых «советских» анархистов, однако, с легальной пропагандистской деятельностью он сочетал «катакомбный» мистический анархизм. Это учение было близко по истокам к концепции, проповедовавшейся Г. И. Чулковым и А. А. Мейером в 1900-е гг. С 1919-го Карелин и его сподвижники (А. А. Солонович, Е. З. Долинин, Н. И. Проферансов и другие) предпринимали активные усилия по созданию в среде научной и творческой интеллигенции разветвленной сети орденских (тамплиеров и розенкрейцеров) кружков. Идейное содержание их строилось на сочетании христианской этики с духовными программами, почерпнутыми у оккультных движений. В последний период жизни Карелин написал около десятка драм и диалогов («Поморцы», «Сцены из жизни Великого Новгорода», «Заря христианства», «Атлантида» и другие), которые использовались в качестве орденских легенд. Часть из них была напечатана американской анархической печатью, редактировавшейся приверженцами Карелина. С 1921-го года и по день смерти он являлся одним из руководителей Всероссийского общественного комитета по увековечению памяти П. А. Кропоткина. В советское время Карелин стал профессором политэкономии. Похоронен на Новодевичьем кладбище в Москве. После его смерти при Кропоткинском музее в Москве некоторое время существовал «Карелинский комитет»