Yükseköğrenimini Rice Üniversitesi (ABD) İşletme Fakültesi’nin ardından Harvard Üniversitesi (ABD) yüksek lisans programıyla sürdürmüştür. İş hayatına 1990’da American Express Bank’ta Yönetici Yetiştirme Programı ile başlamış, 1992-1994 yılları arasında Morgan Stanley Yatırım Bankası’nda Analist olarak çalışmıştır. 1997 yılında Koç Holding Stratejik Planlama Grubu bünyesinde Yeni İş Geliştirme Koordinatörü olarak göreve başlamış, 2010 yılına kadar Koç Holding Bilgi Grubu Başkanı, Kurumsal İletişim ve Bilgi Grubu Başkanlığı gibi üst düzey görevlerde bulunmuştur.
8 yılı aşkın bir süredir Koç Holding Yönetim Kurulu Üyesi olan Sayın Ali Y. Koç, Şubat 2016’dan bu yana Koç Holding Yönetim Kurulu Başkan Vekili olarak görevini sürdürmektedir. 1 Nisan 2016 itibariyle Koç Finansal Hizmetler ve Yapı Kredi Bankası Yönetim Kurulu Başkanı görevlerini üstlenmiştir.
Sayın Ali Y. Koç, aynı zamanda, Ark İnşaat, Bilkom, Digital Panorama, Ford Otosan, Koç Bilgi ve Savunma Teknolojileri, Koç Sistem, Koçtaş, Otokar, Otokoç, Setur şirketlerinde Yönetim Kurulu Başkanıdır.
Bu görevlerine ek olarak ülkemizin ekonomik ve sosyal kalkınmasına katkıda bulunmak için URAK - Ulusal Rekabet Araştırmaları Derneği’nde Yönetim Kurulum Üyesi, Endeavor Derneği’nde Yönetim Kurulu Üyesi, DEİK’de Yönetim Kurulu Üyesi olarak görev yapmaktadır. Ayrıca Harvard Üniversitesi ve Bank of America’da Global Danışma Kurulu Üyesidir.
2006-2012 yılları arasında Fenerbahçe Spor Kulübü Asbaşkanı olan Ali Y. Koç, 2004-2017 yılları arasında da 1907 Fenerbahçe Derneği Yönetim Kurulu Başkanlığı yapmıştır. Ali Y. Koç, aynı zamanda 2017-2019 yılları arasında TÜSİAD’da Yönetim Kurulu Başkan Yardımcısı olarak da görev almıştı.