"Арсенал" связывает свою историю с командой одноименного завода, которая была организована в Киеве в 1925 году. Высшим достижением того "Арсенала" стали победы в Кубке (1954-55) и Чемпионате УССР (1958). С 1959 года "Арсенал" выступал в чемпионате СССР среди команд мастеров класса Б. Однако в 1964 году команда была расформирована из-за отсутствия финансирования.

В декабре 2001 года по инициативе властей Киева команда "Арсенал" была возрождена. При этом канониры по ходу сезона стартовали в Высшей лиге, заняв место киевского ЦСКА. Первый официальный матч "Арсенала" в рамках чемпионатов Украины датирован 16 марта 2002 года – киевляне уступили запорожскому "Металлургу" со счетом 0:2.

В 2007 году клуб был куплен бизнесменом Вадимом Рабиновичем, который неоднократно заявлял о желании вывести "Арсенал" на международную арену. По итогам сезона 2011/2012 Канониры во главе с белорусским специалистом Леонидом Кучуком заняли пятое место в Премьер-лиге (что на данный момент является высшим достижением команды) и добыли право выступлений в Лиге Европы. Однако, в третьем квалификационном раунде "Арсенал" по сумме двух матчей уступил словенской "Муре", не пропустив при этом ни одного мяча. Киевской команде по итогам первого поединка было засчитано техническое поражение 0:3 за участие в игре защитника Эрика Матуку, который не отбыл дисквалификацию на матчи еврокубков, заработанную еще в во время его выступлений в Бельгии.

С 2001 года "Арсенал" возглавляли Вячеслав Грозный, Александр Баранов, Игорь Бабинчук, Александр Заваров, Юрий Бакалов и Леонид Кучук. В разные годы за киевскую команду выступали такие известные футболисты как Олег Гусев, Сергей Закарлюка, Сергей Коновалов, Сергей Мизин, Сергей Нагорняк, Валентин Полтавец, Евгений Селезнев, Артем Яшкин, Шалва Апхазава, Эммануэль Окодува, Георгий Деметрадзе и другие. В настоящее время капитаном команды является Максим Шацких, который является одним из лучших бомбардиров в истории украинских чемпионатов.