Yapay zekayı hızlandırma yarışında, Silikon Vadisi şirketi Cerebras alışılmadık bir strateji izliyor: Büyük ol.
Tipik bir bilgisayar çipi bir tırnağın boyutundayken, Cerebras' chip bir yemek tabağı büyüklüğündedir.
Sesli asistanlara, kendi kendini süren arabalara ve Go şampiyonlarına güç veren bir yapay zeka teknolojisi olan derin öğrenme, karmaşık&"sinir ağına &; katmanlar halinde düzenlenmiş yazılım. Derin öğrenme sistemleri tek bir bilgisayarda çalışabilir, ancak en büyük sistemler, bazen Google tarafından işletilenler gibi büyük veri merkezlerinde, birbirine bağlı binlerce makineye yayılmıştır. Büyük bir kümede, 48 adede kadar pizza kutusu boyutunda sunucu, tek kişilik raflara kayar; Raflar sıralar halinde dizilmiş ve depo büyüklüğünde bir binayı dolduruyor. Bu sistemlerdeki sinir ağları göz korkutucu sorunları çözebilir, ancak aynı zamanda bariz zorluklarla da karşı karşıyadır. Bir kümede çoğalan bir ağ, bir odaya dağılmış ve birbirine bağlı bir beyin gibidir. Elektronlar hızlı hareket eder, ancak yine de çipler arasındaki iletişim yavaştır ve çok fazla enerji tüketir.
San Francisco risk sermayesi şirketi Benchmark'ın genel ortağı olan Eric Vishria, sorunu ilk olarak 2016 baharında yeni bir bilgisayar çipi şirketi olan Cerebras Systems'in konuşmasını duyduğunda fark etti. Benchmark, Twitter gibi şirketlerde erken bir yatırımcı olarak biliniyor. Uber ve ebay -- yani donanımda değil, yazılımda. Şirket yılda yaklaşık 200 start-up'a bakıyor ve birine yatırım yapıyor."Bu bin kurbağayı öpme oyununu oynuyorduk," Vishria söyledi. Konuşmasının başında kurbağayı geri atmaya karar verdi."Düşündüm, neden bunu kabul ettim?&alıntı; Biz'donanımlara yatırım yapmayacağız,&"düşündüğünü hatırladı."Bu' aptalca.&alıntı;
Cerebras'ın kurucu ortağı Andrew Feldman, takım slaytının slayt kapağıyla başladı ve Vishria'nın' dikkatini çekti: yeteneği etkileyiciydi. Feldman daha sonra iki tür bilgisayar çipini karşılaştırdı. İlk olarak, grafik işleme birimlerine veya Gpus'a baktı - özellikle 3D görüntüler oluşturmak için tasarlanmış yongalar. Bugün'nın makine öğrenimi sistemleri, çeşitli nedenlerle bu grafik yongalarına güveniyor. Ardından, tipik bir bilgisayarda işin çoğunu yapan genel amaçlı yongalar olan merkezi işlem birimlerine veya cpus'a baktı."Üçüncü slayt,'Gpus,' bunlar derin öğrenme için gerçekten kötü -- cpus'tan yüz kat daha iyiler.&alıntı; Cerebras, grafikler için değil, yapay zeka için özel olarak tasarlanmış yeni bir çip türü ile karşımıza çıktı.
Vishria, derin öğrenmeyi siber güvenlik, tıbbi görüntüleme, sohbet robotları ve diğer uygulamalarda kullanmayı planlayan şirketlerin konuşmalarını duymaya alışkın. Cerebras''nın konuşmasından sonra, Zillow, Uber ve Stitch Fix dahil olmak üzere Benchmark tarafından finanse edilen şirketlerdeki mühendislerle konuştu;&'& 'yi eğitmek çok uzun sürdüğü için AI ile sorun yaşadıklarını söylediler; sinir ağı. Google, süper hızlı"tensör işleme birimleri," veya Tpus, YAPAY zeka için tasarlanmış özel çipler. Vishria, altına hücum olduğunu ve birinin kazma ve kürek yapması gerektiğini biliyordu.
O yıl, bir başka risk sermayesi şirketi olan Benchmark ve Foundation Capital, yaklaşık 500 milyon dolar toplayan Cerebras için 27 milyon dolarlık bir fon sağladı. Diğer şirketler de yapay zeka hızlandırıcıları yapıyor; Beyin' rakipler groq, Graphcore ve Sambanova, aralarında 2 milyar dolardan fazla sermaye topladı. Ama Cerebras' yaklaşım benzersizdir. Büyük bir silikon parçası üzerine düzinelerce gofret basıp onları kesip birbirine bağlamak yerine dev bir&"gofret seviyesi &" yarattı; yonga. Tipik bir bilgisayar çipi bir tırnak boyutundayken, Cerebras bir yemek tabağı büyüklüğündedir ve dünyadaki en büyük bilgisayar çipidir.
Rakipler bile bu başarıyı etkileyici buldu."Bu yeni bilim," Graphcore''un CEO'su ve kurucu ortağı Nigel Toon bana söyledi."Bu' inanılmaz bir mühendislik parçası. Bu'bir başyapıt.&alıntı; Bu arada, konuştuğum başka bir mühendis bunu bir bilim projesi olarak tanımladı -- büyük' aşkına. Geçmişte şirket dev çipler yapmayı denedi ve başaramadı; Beyin' plan, mühendislik zorluklarının üstesinden gelmenin mümkün olduğuna ve buna değeceğine dair bir bahis anlamına gelir."Dürüst olmak gerekirse benim için cehalet bir avantajdır," dedi Visria."Ben'Yaptıklarını yapmanın ne kadar zor olduğunu bilseydim, yatırım yapmak için cesaretim olurdu.&alıntı;
Bilgisayarların giderek daha hızlı hale geldiğini kabul etmek kolaydır. Bu genellikle Moore' Yasası ile açıklanır: 1965 yılında yarı iletken öncüsü Gordon Moore tarafından oluşturulan, bir çip üzerindeki transistör sayısının her yıl veya her iki yılda bir ikiye katlandığı model. Tabii ki, Moore' Yasası' gerçekten bir yasa değildir ve mühendisler,&"mimarisini &" geliştirirken, transistörleri küçültmek için yorulmadan çalışırlar. Daha verimli ve güçlü tasarımlar oluşturmak için her çipin.
Çip mimarları uzun zamandır tek bir büyük ölçekli bilgisayar çipinin bir grup küçük çipten daha verimli olup olmayacağını merak ediyor, tıpkı yoğun kaynaklara ve yoğun bloklara sahip bir şehrin bir banliyöden daha verimli olması gibi. Fikir ilk olarak 1960'larda Texas Instruments'ın çip üretimini birkaç inç genişliğinde sınırladığı zaman denendi. Ancak şirketin' mühendisleri verim sorunlarıyla karşılaştı. Herhangi bir silikon gofret üzerinde, üretim hataları kaçınılmaz olarak belirli sayıda devreyi tehlikeye atar. Bir gofret 50 çip içeriyorsa, şirket kötü olanları atabilir ve iyi olanları satabilir. Ancak her başarılı çip, tek bir gofretin çalışma devresine bağlı olsaydı, birçok pahalı gofret atılırdı. Texas Instruments bir çözüm buldu, ancak teknoloji ve ihtiyaç henüz orada değildi.
1980'lerde Gene Amdahl adlı bir mühendis, kurduğu Trilogy Systems adlı bir şirketle sorunu tekrar çözmeye çalıştı. Yaklaşık 250 milyon dolarlık fonla Silikon Vadisi&tarihindeki en büyük girişim oldu. Verim sorununu çözmek için Trilogy, yedek bileşenleri çipin üzerine yazdırdı. Bu yöntem üretimi arttırır ancak çipin hızını azaltır. Bu arada, Trilogy başka şekillerde mücadele ediyor. Amdahl, Royce rulolarıyla bir motosikletçiyi ezdi ve yasal soruna neden oldu; Başkanı beyin tümöründen öldü; Şiddetli yağışlar fabrikaların inşasını geciktirdi, klima sistemlerini paslandırdı ve talaşlarda toz birikmesine neden oldu. 1984'te Trilogy vazgeçti."& #39;Bunun ne kadar zor olacağını bilmiyordum," Amdahl'ın oğlu The Times'a söyledi.
Trilogy' teknolojisi başarılı olursa, artık derin öğrenme için kullanılabilir. Bunun yerine, Gpus (video oyunlarında kullanılan çipler) ulusal laboratuvarlarda bilimsel sorunları çözüyor. Yapay zeka için gpus'u yeniden kullanmak, sinir ağlarının çok karmaşık olmasına rağmen çok fazla çarpma ve toplamaya dayanmasına bağlıdır."nöronlar" olduğunda; ağda birbirlerini ateşlerler, birbirlerini's sinyallerini yükseltirler veya azaltırlar, bunları bağlantı ağırlıkları adı verilen katsayılarla çarparlar. Verimli bir AI işlemcisi, birçok aktivasyonu paralel olarak hesaplayacaktır; Bunları vektör adı verilen bir dizi sayı veya matris adı verilen sayı ızgaraları veya tensör adı verilen daha yüksek boyutlu bloklar halinde birleştirir. İdeal olarak, bir matrisi veya tensörü diğeriyle aynı anda çarpmak istersiniz. Gpus benzer bir şey yapmak için tasarlanmıştır:
& quot;Üçlemenin gölgesi çok büyük," Feldman geçenlerde bana,"insanların düşünmeyi bırakıp,'Bu'imkansız demeye başladığını söyledi.'&alıntı; Nvidia da dahil olmak üzere GPU şirketleri, çiplerini derin öğrenme için özelleştirme fırsatından yararlandı. 2015 yılında Feldman ve bir grup bilgisayar mimarı, yonga üreticisi AMD'ye 334 milyon dolara sattıkları bir bilgisayar sunucusu üreticisi olan Seamicro'yu kurduktan sonra daha büyük çipler fikrini tartışmaya başladılar. Bir risk sermayesi firmasından ödünç alınan bir ofiste bu konu üzerinde dört ay çalıştılar. Uygulanabilir bir çözüm taslağı bulduklarında sekiz şirketle görüştüler; Benchmark, Foundation Capital ve Eclipse'den fon aldı ve işe almaya başladı.
Beyin' ilk görev, büyük talaşların başına bela olan üretim sorunlarını çözmektir. Çip orijinal olarak yaklaşık bir fit çapında kristalin silikondan silindirik bir külçeydi ve çelik külçe bir milimetreden daha ince ince levhalar halinde kesildi. Devre daha sonra"baskılı" litografi adı verilen bir işlemle gofrete aktarılır. Uv'ye duyarlı kimyasallar dikkatlice yüzeyde biriktirilir ve ardından bir UV ışığı ışını, maske adı verilen ayrıntılı bir şablon aracılığıyla yansıtılır. Bu kimyasallar devreler oluşturmak için reaksiyona girer.
Normalde, maskeden yansıtılan ışığın kapladığı alan bir çip haline gelir. Ardından çip hareket eder ve ışık tekrar yansıtılır. Düzinelerce veya yüzlerce çip yazdırıldıktan sonra gofretten lazerle kesilir."Bunu yapmanın en kolay yolu annenizin yuvarlak bir kurabiye hamuru çıkarmasıdır," dedi Feldman.&"Kurabiye kalıbı var ve kurabiyeleri özenle kesiyor.&alıntı; Fizik ve optik yasaları, daha büyük bir kurabiye kalıbı yapmayı imkansız kılıyor. Sonuç olarak,"iki çerez arasında biraz hamur üzerinden iletişim kurabilmeniz için bir teknoloji geliştirdik.&alıntı;
Cerebras'ın çipi yapan şirket olan TSMC ile ortaklaşa geliştirdiği baskı sisteminde, çerezlerin kenarları üst üste gelecek şekilde teller birbirine bağlanıyor. Sonuç, tek bir&"gofret boyutu &"; gofret, bakır renkli kare ve her iki tarafta 21cm. (En büyük Gpus'un çapı 3 cm'den biraz daha küçüktür.) Cerebras, ilk yongası olan Wafer-scale Engine 1'i 2019'da üretti. Bu yıl tanıtılan Wse-2, 850.000 işlem biriminde paketlenmiş 2,6 trilyon transistör ile daha yoğun bir devre kullanıyor. veya&"çekirdekleri &". (En iyi GPU'larda yalnızca birkaç bin çekirdek bulunurken, çoğu işlemcide 10'dan az çekirdek bulunur.)
& quot;2.6 trilyon transistör şaşırtıcı," Synopsys Yönetim Kurulu Başkanı ve Eş CEO'su Aart de Geus şunları söyledi: Synopsys, Cerebras ve diğer çip üreticilerinin çip tasarımlarını yapmak ve doğrulamak için kullandıkları bazı yazılımlar sağlar. De Geus, mühendislerin çipleri tasarlarken önce iki temel soruyu dikkate almaları gerektiğini söylüyor:&"Veriler nereden geliyor?&alıntı; Nerede işlenir?&alıntı; Çipler daha basitken, tasarımcılar bu soruları çizim masasında bir kalemle cevaplayabilirdi; Günümüzün'nın daha karmaşık yongaları ile çalışırken, oluşturmak istedikleri mimariyi tanımlayan kodu girin, ardından görselleştirme ve kodlama araçlarına geçin."Evin çatıdan nasıl göründüğünü bir düşünün," dedi de Geus.&"Garaj mutfağa yakın mı? Yoksa yatak odasına yakın mı? Mutfağın yakınında olmasını istiyorsun - aksi halde, evin her köşesinden yiyecek taşımak zorunda kalacaksın.&alıntı; Kat planını tasarladıktan sonra,&"odada neler olduğunu açıklamak için denklemleri kullanabilirsiniz" diye açıkladı.&alıntı;
Çiplerin tasarım karmaşıklığı akıllara durgunluk veriyor."Burada birçok katman var," de Geus, büyük bir otoyol üst geçidi gibi çaprazlanmış ve üst üste yerleştirilmiş devrelerle dedi. Bir gofret ölçeğinde çalışan Cerebras mühendisleri için karmaşıklık artıyor. Özet' yazılım, yapay zeka biçiminde yardımcı olur: model eşleştirme algoritmaları, yaygın sorunları tanımlar ve çözümler önerir; Optimize edici program, odayı daha hızlı, daha verimli bir düzenlemeye taşır. İki bloklu bir binaya çok fazla şerit sığdırmaya çalışırsa, yazılım mühendislerin Robert Moses'ı oynamasına ve bloğu hareket ettirmesine izin verir.
Sonunda, Feldman, büyük boyutlu çip tasarımlarının birkaç avantajı olduğunu söylüyor. Çekirdekler aynı çip üzerinde olduğunda, daha hızlı iletişim kurarlar: Bilgisayarın' beyni artık bir odaya dağılmak yerine tek bir kafatasında yoğunlaşmıştır. Daha büyük yongalar ayrıca belleği daha iyi işler. Tipik olarak, bir dosyayı işlemeye hazır olan küçük bir çip, dosyayı önce devre kartının başka bir yerinde bulunan paylaşılan bir bellek çipinden almalıdır; Yalnızca en sık kullanılan veriler, eve daha yakın bir yerde önbelleğe alınır. Feldman, gofret seviyesindeki çiplerin verimliliğini tanımlarken bir benzetme önerdi: Benden bir yurtta (çip) yaşayan ve bir futbol maçı izlemek (bilgisayar işi yapmak) isteyen bir grup oda arkadaşını (çekirdek) hayal etmemi istedi. Feldman, oyunu izlemek için oda arkadaşlarının birayı buzdolabında saklaması gerektiğini söylüyor (veriler bellekte saklanır); Cerebras her odada bir buzdolabı bulundurur, böylece oda arkadaşları' yurt'un ortak mutfağına veya Safeway'e gitme riskini almak zorunda kalmazlar. Bu, her bir çekirdeğin farklı verileri daha hızlı işlemesine izin verme avantajına sahiptir."Böylece Bud'ı yurt odamda görebilirim," dedi Feldman."Yurtunuzda Schlitz'e sahip olabilirsiniz.&alıntı;
Son olarak, Cerebras verim sorunlarının üstesinden gelmelidir. Şirketin' mühendisleri Trilogy's hilesini kullanıyor: fazlalık. Ancak burada öncekilere göre bir avantajları var. Trilogy, birçok farklı bileşenle jenerik yongalar üretmeye çalışır, bu nedenle tek bir arızalı bileşenin etrafındaki kablolama, uzaktaki bir değiştirmeye bağlanmayı gerektirebilir. Cerebras' çip, tüm çekirdekler aynı. Bir bisküvi yanlışsa, etrafındakiler de aynı derecede iyidir.