Дельвиг родился 17 августа 1798 года. Хотя семья и принадлежала к лифляндскому баронскому роду, особого достатка она не имела.