Іоанн походив із знатного вірменського роду Куркуаса За словами Льва Диякона, він був чоловік гарячої вдачі і, незважаючи на те, що був дуже маленького зросту, виявив себе неймовірно сміливим і палким в бою. Він був дуже рухливий: в стрибках, грі в м'яч, метанні списа і стрільби з лука він перевершував всіх своїх однолітків. Він так влучно направляв дротик в ціль, що той пролітав через отвір розміром з кільце. Недоліком його була звичка надміру напиватися на бенкетах. Пишуть також, що він був жадібний до тілесних насолод. При Романа II Іоанн висунувся як здібний воєначальник. Пізніше він зіграв видну роль у проголошенні імператором Никифора Фоки. За ці заслуги Никифор в 963 р вшанував Цимисхия званням магістра і зробив доместиком Сходу. У 965 році він дав йому гідність дуки, але потім, запідозривши у зраді, позбавив свого благовоління і всіх посад і заслав в Халкидон.
Через сім днів після перевороту, зміцнивши свою владу, Іван хотів вінчатися на царство, але патріарх Полієвкт оголосив, що не дозволить йому увійти в храм до тих пір, поки він не видалить з палацу Феофано і не скасує введені імператором Никифором закони, спрямовані проти церкви (закони ці сильно ущемляли влада патріарха і забороняли йому призначати єпископів без згоди імператора). Іоанн погодився: він заслав імператрицю на острів Прінкіпо і повернув синоду грамоту Никифора Тільки тоді Полієвкт допустив Іоанна в Софію і вінчав його.
Подібно до свого попередника, новий імператор провів у походах і битвах більшу частину царювання. Перш за все він звернувся до болгарських справах. Руському князю Святославу. якого Никифор закликав до Болгарії, Іоанн велів піти назад до Чорного моря. Але Святослав відповідав, що не піде до тих пір, поки імператор не заплатить йому викуп за всі захоплені ним в Болгарії міста. Оскільки ця умова не могло бути прийнято, імператор послав проти Святослава магістра Варду Скліра. Російські вторглися у Фракію, спустошили її всю вогнем і грабежами і розбили свій табір неподалік від Аркадіополь. Однак у великій битві з Вардой вони були розбиті і відступили. Одночасно з навалою російських імператору довелося відбивати іншу загрозу - в Азії підняв заколот племінник убитого Никифора Варда Фока. Навесні 970 р Іоанн послав проти заколотників Варду Скліра. Фока біг, але незабаром його захопили і постригли в ченці. Після цього Іоанн одружився з дочкою Костянтина VII Феодора, яка не дуже вирізнялася красою і стрункістю, але зате була відзначена всіма чеснотами.
Навесні 971 р Іоанн виступив в похід проти Святослава. Дізнавшись, що гірські проходи через Балкани ніким не охороняються, ромеї прискореним маршем пройшли через них і вторглися до Болгарії. Росіяни, заскочені зненацька, вишикувалися в бойовий порядок перед болгарською столицею Преславою. Почався запеклий бій, і жодна сторона не могла взяти верх. Тільки після того, як імператор кинув на ліве крило російських загін важкої кавалерії (їх називали "безсмертними"), вороги не витримали натиску і бігли під захист міста. На другий день ромеї увірвалися в Преславу і захопили величезну здобич: у руки до них потрапила вся царська скарбниця, а серед бранців виявився болгарський цар Борис II. Що залишилися в живих руси були відтіснені до царського палацу і тут перебиті. Тим часом сам Святослав з головними силами перебував у Доростола. Не зволікаючи ні дня, імператор рушив на нього і через тиждень уже підступив до цього міста.
Росіяни, щільно стуливши щити і списи, очікували противника перед Доростолом. Іоанн побудував свої війська, розташувавши одягнених в панцирі вершників з боків, а лучників і пращників позаду, і повів фалангу в бій. Зав'язалася запекла битва. У перших сутичках обидві сторони боролися з однаковим успіхом, так що до самого вечора не можна було визначити переможця. Але, коли сонце стало хилитися до заходу, імператор кинув проти русів всю кінноту. Вороги кинулися навтіки і були відтіснені за стіни.