1881. május 11-én született Budapesten, apja, Kármán Mór egyetemi tanár a Mintagimnázium igazgatója volt, ide járt Tódor fia, továbbá Hevesy György és Szilárd Leó is. Kármán már fiatalon kitűnt matematikai tehetségével, de apja mérnöki pályára irányította. A műegyetem elvégzése után Bánki Donát tanársegédje és a Ganz-gyár tanácsadója lett, ekkori anyagszerkezeti kutatásai készítették elő későbbi eredményeit. 1906-ban az MTA ösztöndíjával a göttingeni egyetemre került, ahol hat évig dolgozott Ludwig Prandtl, az "aerodimanika atyja" oldalán.
Megszerezte a doktorátust, értekezésében a nyomott rudak kihajlási elméletét fejtette ki. 1911-ben az áramló folyadékban a nem áramvonalas test mögött, kétoldalt váltakozva leváló örvényeket elemezte; ez a Kármán-örvénysor, ezzel magyarázta később az amerikai Tacoma-híd 1940-es, vihar miatti leszakadását. Kármán 1912-ben a selmecbányai Bányamérnöki Akadémián tanított, majd az aacheni Aerodinamikai Intézet igazgatója lett, itt szélcsatornát épített. Az I. világháború idején nagyothallása miatt előbb raktári szolgálatra osztották be, majd egy év múlva a bécsi repülőgépgyárba került. Itt tervezte – többek között Asbóth Oszkárral - a villanymotoros, forgó szárnyas, katonai megfigyelő gépet, amely kötéllel kikötve tartósan lebegett.
Az 1918-19-es forradalmak alatt Kármán a kultuszminisztérium felsőoktatási osztályát vezette. 1919 végén Aachenbe ment műegyetemi tanárnak, hírneve egyre nőtt, számos országból keresték fel tanítványok. Részt vett a Nemzetközi Elméleti és Alkalmazott Mechanikai Unió létrehozásában, majd a szervezet tiszteletbeli elnöke lett. 1926-ban járt először az Egyesült Államokban, a Nobel-díjas fizikus Robert Millikan meghívására, ezután felváltva dolgozott Aachenben és a Kaliforniai Műegyetemen. A fenyegető fasizmus miatt 1933-ban végleg Pasadenába települt. A Guggenheim Alapítvány Aeronautikai Laboratóriuma és Léghajó Intézete (a repüléstudomány Mekkája) igazgatója lett.
Fontos eredményeket ért el a mérnöki matematika, a folyadékmechanika, a turbulencia-elmélet, a repülőgép-szerkezetek és a talaj széleróziójának kutatásában. Megoldotta a szuperszonikus repülés sok kérdését: a határfelület elméletét, a repülő testek méretezésének és felületkialakításának módszereit. A kristályrácsok, égéselmélet, magneto-hidrodinamika, aero-termokémia és a fémek képlékeny alakítása terén is jelentős eredményei voltak. Részt vett az Egyesült Államok Repüléstudományi Intézetének alapításában, vállalati és kormánytanácsadó volt, 1936-ban állampolgárságot kapott. Kezdettől fogva szerepe volt az űrhajózás kifejlesztésében, már 1936-ban a rakétahajtást kutatta, holott ekkor még sokan kételkedtek megvalósíthatóságában.
Kármán 1941-ben közreműködött az első rakétát gyártó cég, az Aerojet General Corporation létrehozásában, a kormány rakéta- és űrkutatási programjában, 1944-ben egyik alapítója volt a NASA Sugárhajtású Laboratóriuma elődjének. Létrehozta a Légierő Tudományos Tanácsadó Csoportját. Az ő vezetésével fejlesztették ki az első irányított, ballisztikus rakétát, javaslatára jött létre a NATO-államok Aeronautikai Kutatási és Fejlesztési Csoportja, amelynek elnöke is lett. Életre hívta a Nemzetközi Repüléstudományi Tanácsot és a Nemzetközi Űrhajózási Akadémiát, az utóbbi fontos programja az 1962-es párizsi tanácskozás volt, ahol először találkoztak amerikai, szovjet és más tudósok.
1947-ben javasolta, hogy létesítsenek a Közel-Keleten nemzetközi folyadék- és talajmechanikai kutatóközpontot, e terv alapján indította meg 1950-ben az UNESCO az aszályos övezetek kutatását. 1963-ban Kennedy elnök neki adta át elsőként a Nemzeti Tudományos Érmet. 1963. május 6-án halt meg Aachenben, de már életében laboratóriumot neveztek el róla, a Holdon és a Marson kráter viseli a nevét.
