Первый экспериментальный тепловоз для работы на магистральных линиях был разработан под руководством Рудольфа Дизеля в 1909 году, построен к сентябрю 1912 года, однако из-за возникших проблем при испытаниях, а также начавшейся Первой мировой войны его доработка так и не была закончена.
В июле 1913 года американская компания General Electric выпустила тепловоз, работавший на бензине, однако свернула производство подобного вида локомотивов через несколько лет, перейдя на производство дизельного тепловоза с целью удешевить локомотивное топливо[3]. Специально для тепловозов General Electric разработала и построила свой дизель. Первые, коммерчески неуспешные образцы, оставшиеся опытными, выпускались General Electric в 1917—1918 гг[4].
Развитие дизельной тяги в США получило толчок благодаря закону (Kaufman Act), принятому в 1923 году, который предполагал полное запрещение эксплуатации паровозов в пределах Нью-Йорка в течение последующих нескольких лет. Электрическая же тяга была экономически невыгодна на маршрутах с малым пассажиро- и грузопотоком.
В декабре 1923 года компаниями General Electric и Ingersoll Rand (en) был построен демонстрационный тепловоз[3], 14 августа 1924 года совершивший показательную поездку с 93 пустыми вагонами[5].
Первыми тепловозами в СССР были тепловозы Щэл1 системы инженера Гаккеля и системы инженера Ломоносова Ээл2, оба имели электрическую передачу, были построены в 1924 году и совершили свою первую поездку 6 ноября 1924 года.