Родился 3 июня 1864 года в небольшом провинциальном городке Женева (штат Огайо). Отец Олдса владел механической мастерской. В юности будущий конструктор окончил бухгалтерские курсы при бизнес-колледже в Лансинге (штат Мичиган). Но счетоводом молодой Олдс так и стал: в конце 80−х годов он увлекся проектированием локомобилей, а в 1891 году построил собственный трехколесный паровой прототип. Годом позже появился первый бензиновый автомобиль Олдса. Вдохновленный интересом, проявленным покупателями к его машинам, в 1897 году конструктор организовал предприятие Olds Motor Vehicle Company. Первый блин оказался комом, и в 1899 году компанию пришлось реструктурировать и преобразовать в Olds Motor Works, чтобы избежать неприятностей.

В 1901 году Олдс построил свой самый знаменитый автомобиль, прозванный Сurved Dash. Машина продавалась всего за 650 долларов и стала первым по-настоящему недорогим автомобилем в мире. Все вроде бы шло хорошо, но в марте 1901 года на заводе Олдса в Детройте разразился пожар, полностью уничтоживший предприятие. Компанию перевели в Лэнсинг, а Олдс, сколотивший к тому моменту огромное состояние, два года спустя продал свою часть акций. В 1908 году Olds Motor вошла в состав General Motors.

Олдс же организовал новую фирму Reo Motor Car Company, где продолжил эксперименты с двигателями внутреннего сгорания, стараясь приспособить их для различных нужд, в том числе и для сельского хозяйства. Помимо прочего, человечество обязано ему созданием первой моторизованной косилки.

Большие деньги породили большие амбиции, вероятно, поэтому в 1913 году Олдс купил более 35 тыс. акров земли около северной оконечности залива Тампа и построил там город, который назвал в свою честь Олдс-на-Заливе (в настоящее время Олдсмар). В 1921 году город сильно пострадал от урагана, и основатель перестал им интересоваться. Скончался Олдс в 1950 году.

Если Лиланд и Олдс были основателями самых известных отделений Gеneral Motors, то отцом всей корпорации по праву считается другой человек.