Пока шла кампания в Юго-Восточной Азии и Филиппинах, IJAAF вели ускоренный процесс перевооружения своих истребительных подразделений, оснащенных Ki-27, на новые машины, особенно Ki-43 "Ха-ябуса". Одним из первых переоснастили 24-й Сентай, возвратившийся с Филиппин в Маньчжурию в январе 1942 года; он был полностью перевооружен к марту. В апреле новые Ki-43 начал получать 50-й Сентай, который был ранее выведен из Бирмы и с Филиппин в Токуразаву, Япония. В мае 1942 года (по другим данным - в июне) Ki-27 заменили в 1-м Сентае, временно базировавшемся в Акено (Япония) после возвращения из Бирмы. К середине 1942 года со старыми Ki-27 расстались 33-й Сентай в Ксингжу, Маньчжурия (в мае), 10-й Доку-рицу Чутай в Акено (в мае-июне), 5-й и 11-й Сентай (в августе-сентябре), базировавшиеся тогда в Японии (5-й - в Кашива и 11-й - в Акено). Таким образом, осенью 1942 года, после возвращения 77-го Сентая из Бирмы, IJAAF не имели в зоне боевых действий ни одного подразделения, вооруженного Ki-27.
В июле 1942 года перевооружился 87-й Сентай в Туанжанзи, Маньчжурия, но эта часть получила перехватчики Ki-44 "Секи". Несколько Ki-27 продолжали нести службу в этом Сентае до начала 1943 года. Переоснащение 85-го Сентая, базировавшегося в Хайланде, Маньчжурия, на Ki-44 началось в середине 1942 года. К концу 1942 года новые Ki-43 сменили Ki-27 в 54-м Сентае, который затем базировался на нескольких аэродромах острова Хоккайдо, Япония (хотя последние Ki-27 покинули эту часть лишь в феврале 1943 года). Только 4-й и 13-й Сен-таи в Японии, 9-й и 77-й Сентаи в Маньчжурии остались единственными "старыми" подразделениями всё ещё эксплуатирующими Ki-27, но эти части не участвовали в боевых действиях.
Одновременно были сформированы новые подразделения, вооруженные Ki-27, но они преимущественно занимались воздушным прикрытием территорий в Китае и Маньчжоу-го, а также в метрополии. Последнее было предпринято после того, как 18 апреля шестнадцать американских В-25 из 17-й Воздушной группы ВВС США под командованием подполковника Джеймса Ду-литтла взлетели с авианосца "Хорнет" в 700 милях от побережья Японии. Они безнаказанно нанесли удар по Токио, Иокогаме, Нагое и Кобе, не встретив ни одного японского истребителя! Это первое нападение американцев на Японские острова вызвало бурю в штабе армейских ВВС, которые отвечали за противовоздушную оборону метрополии. В марте 1942 года в Кеингшу, Маньчжурия, был сформирован 78-й Сен-тай (командир - майор Исао Абэ), костяк которого составил персонал 24-го и 33-го Сентаев. В марте же в Харбине сформировали 68-й Сентай (командир - майор Нобо-ру Шимояма), используя пилотов из 9-го, 13-го и 64-го Сентаев. Однако очень быстро эта часть сменила свои Ki-27 на новые истребители Кавасаки Ki-61 "Хиен" (по одним данным это произошло в декабре 1942 года, по другим - в марте 1943 года).
В апреле в Женчси около Панченга, Маньчжурия, был сформирован 204-й Кьо-до Хико Сентай (командир - майор Ходжи-ме Табучи), ядро которого составляли пилоты из 9-го, 11-го, 24-го и 77-го Сентаев. Это учебное подразделение, вооруженное Ki-27, в феврале 1944 года переименовали в 204-й Сентай и возложили на него задачи ПВО. В августе 1942 года в Каногаве, префектура Хуого, Япония, был сформирован 246-й Сентай (командир - майор Такео Ми-амото), а в Ашия, Япония - 248-й Сентай (командир - майор Йасуо Макино) - на оба подразделения были возложены задачи ПВО Японских островов. Часть персонала последних двух Сентаев была взята из двух подразделений: в 246-м - из 13-го Сентая, а 248-м - из 4-го Сентая. 2 октября в Яамен-туне, Маньчжурия, из персонала 77-го и 27-го (легкие бомбардировщики) Сентаев был сформирован 26-й Сентай (командир - майор Такаши Шиматани). Все упоминавшиеся подразделения летали на Ki-27, но эти машины постепенно переходили в разряд учебных, уступая место Ki-43 "Хаябуса", Ki-44 "Секи", Ki-61 "Хиен" и двухмоторному Ki-45 "Торю"
В мае 1942 года в структуре IJAAF появилась новая организационная единица Кокуган (воздушная армия), которая объединяла под общим командованием все Хи-кошиданы и другие отдельные подразделения, действующие в одной оперативной зоне, осуществляя полный контроль их деятельности. Первоначально было организовано три армии: 1-й Кокуган в Японии (штаб-квартира в Токио), 2-й Кокуган в Маньчжоу-го и Корее (штаб-квартира в Хсинкине) и 3-й Кокуган в Малайе, Индокитае, Бирме и голландской Ост-Индии (штаб-квартира в Сингапуре). В 1943 году было сформировано ещё две армии: 4-й Ко-куган на Филиппинах и Новой Гвинее (штаб-квартира в Маниле) и 5-й Кокуган в Китае (штаб-квартира в Нанкине). В конце 1944 года была организована последняя армия - 6-й Кокуган (штаб-квартира в Фокуо-ке, Япония), главной задачей которой была защита Японских островов. В апреле 1945 года четыре Кокугана, базировавшиеся в Японии, Китае и Корее - 1-й, 2-й, 5-й и 6-й - были объединены под эгидой Кокусуган (Главной воздушной армии).
В 1943 году было сформировано ещё несколько частей, вооруженных Ki-27. 63-й Сентай (командир - майор Магоджи Хара), на который возлагались задачи обеспечения ПВО Хоккайдо, был сформирован 25 февраля в Хачинохе, префектура Аомо-ри на севере Хонсю. Его ядро составил персонал из 54-го и 244-го Сентаев и 104-го Кьоику Хикорентая. В июле в Донгджинчен-ге, Маньчжурия, был организован 30-й Сен-тай (командир - подполковник Кьоши Кан-заки); первоначально он был предназначен для решения задач штурмовки, но затем его переквалифицировали в истребительный. Также в июле в Жуандао, Маньчжурия, из персонала 77-го Сентая и 204-го Кьодо Сен-тая был сформирован 48-й Сентай (командир - майор Macao Мацуо). Подразделение было признано боеготовым в ноябре того же года, а Ki-27 использовались в нем для тренировок до апреля 1944 года. Для обучения и тренировок Ki-27 использовались и в 18-м Сентае (командир - майор Ринзо Исозука), сформированном в декабре в Чофу (возле Токио) из персонала 244-го Сентая.
В сентябре 1943 года Ki-27 попали в Сусей Сентотай (временную истребительную группу) под командованием капитана Канаме Наган, организованную в Сунджио около Харбина, Маньчжурия. 25 августа 1944 года эту часть переименовали в 25-й Докурицу Чутай и она перешла под оперативное управление 104-го Сентая (командир - майор Ямато Токияма). В том же месяце она поменяла свои Ki-27 на Ki-43. В 1943 году Ki-27 были сняты с вооружения многих подразделений: 13-го и 18-го Сентаев в апреле; 9-го и 70-го Сентаев и 204-го Кьодо Сентая в мае; 63-го, 244-го, 246-го, 248-го Сентаев в июле; знаменитого 77-го Сентая в августе; 26-го Сентая в сентябре; 4-го Сентая в конце года.
Последним боевым подразделением, где использовалось некоторое количество Ki-27 (исключительно для тренировок), был 101-й Сентай (командир - майор Ёнага), сформированный в июле 1944 года в Кито-Изе и около Нагои, Япония. С 1943 года большинство Ki-27 в боевых подразделениях использовались как тренировочные или даже связные, а их функции взяли на себя истребители Накадзима Ki-43 "Хаябуса", Накадзима Ki-44 "Секи", Кавасаки Ki-45 "Торю" и Кавасаки Ki-61 "Хиен", а с 1944 года ещё и Накадзима Ki-84 "Хаяте" и Кавасаки Ki-100
