公元３０８年，晉懷帝任命劉琨做并州刺史。那時候，并州被匈奴兵搶奪殺掠，百姓到處逃亡。劉琨招募了一千多個兵士，冒著千難萬險，轉戰到了并州的晉陽（今山西太原市西南）。

　　晉陽城里，房屋被焚毀，滿地長著荊棘，到處是一片荒涼。偶然見到一些留下來的百姓，已經餓得不像樣子了。

　　劉琨看到這種情況，心里很難過。他命令兵士砍掉荊棘，掩埋尸體，重新把房屋城池都修復起來。他親自率領兵士守城，防備匈奴兵的襲擊。他還采取計策，讓匈奴的各部落互相猜疑。后來，有一萬多個匈奴人投降了劉琨，連漢主劉淵也害怕了，不敢侵犯。

　　劉琨把流亡的百姓都召回來耕種荒地。不到一年時間，到處可以聽到雞鳴狗叫的聲音，晉陽城漸漸恢復了繁榮的景象。

　　劉聰攻破洛陽之后，西晉在北方的兵力大多被打散了，只有劉琨還在并州一帶堅持戰斗。晉愍帝在長安即位后，派人封劉琨為大將軍，要他統率并州的軍事。

　　那時候，漢國大將石勒，占據了襄國（在今河北邢臺西南），集結了幾十萬大軍，想奪取并州。劉琨南面有劉聰，北面有石勒，前后受敵，處境困難到了極點。可是劉琨沒有害怕，沒有退縮。他在給晉愍帝的一份奏章里說：“臣跟劉聰、石勒，勢不兩立。如果不討平他們，臣決不回朝。”

　　據說，劉琨在晉陽的時候，有一次，晉陽被匈奴的騎兵層層包圍。晉陽城里兵力太少，沒有力量打退敵人。大家都感到驚慌，劉琨卻仍然泰然自若。到了傍晚，他登上城樓，在月光下放聲長嘯，聲調悲壯。匈奴的騎兵聽了，都隨著嘯聲嘆息。半夜里，劉琨又叫人用胡笳（一種樂器）吹起匈奴人的曲調，勾起了匈奴騎兵對家鄉的懷念，傷感得流下眼淚。天快亮的時候，城頭的笳聲又響了起來，匈奴兵竟自動跑散了。

　　后來，劉琨聯絡鮮卑族首領一起進攻劉聰，沒有成功。接著，石勒進攻樂平（今山西昔陽西南），劉琨派兵去救，被石勒預先埋伏好的精兵打得幾乎全軍覆沒。正在這個時候，又傳來了長安被劉聰攻陷的消息。到了這步田地，盡管劉琨怎樣頑強，也沒法保住并州，只好率領殘兵投奔幽州去了。