Bölüm 9:Tahmin, Spekülasyon ve Spectre

Bir önceki bölümde işlemcinin aynı anda onlarca talimatı havada tuttuğunu gördük. Ama o resmin ortasında bilerek bir boşluk bıraktım.

Pipeline’ın dolu kalması için CPU’nun sıradaki talimatı önceden getirmesi gerekir. Peki kodda bir if varsa? Koşulun sonucu daha hesaplanmamışken hangi tarafı getireceksin?

İşlemcinin bu soruya verdiği cevap “beklerim” değil. Cevap şu: tahmin et ve işe koyul. Bu bölümde önce o tahmin makinesini, sonra da onun modern bilgisayarların en ünlü güvenlik açığına nasıl dönüştüğünü göreceğiz.

Bu bölümde neyi çözüyoruz?

• CPU’nun bir dallanmanın sonucunu nasıl tahmin ettiğini göreceğiz.
• Yanlış tahminin bedelini ve spekülatif yürütmenin ne olduğunu anlayacağız.
• Spectre ile Meltdown’ın neden bir yazılım hatası değil, bir tasarım sonucu olduğunu çözeceğiz.
• Bir soyutlamanın neden en çok hızlandığı yerden sızdığını göreceğiz.

Branch Prediction: Geleceği Tahmin Etmek

Programlar sık sık koşullu dallanmalar kullanır (if, while, for). Pipeline’ın verimli çalışması için CPU bir sonraki talimatı önceden getirmelidir. Ama dalın nereye gideceğini bilmeden ne getireceksin?

Branch prediction (dal tahmini) devreye girer. CPU, geçmişteki dallanma davranışlarına bakarak “bu dal muhtemelen atlayacak” veya “atlamayacak” diye tahminde bulunur.

• Static prediction: Basit kurallar (örneğin “geriye dönen dallar atlar, ileriye dönenler atlamaz”).
• Dynamic prediction: Donanım iki ayrı soruya iki ayrı tabloyla cevap verir. Atlayacak mı? sorusunu, geçmiş davranışı tutan bir yön tablosu cevaplar — içinde birazdan göreceğimiz 2-bit sayaçlar durur. Atlayacaksa nereye? sorusunu ise Branch Target Buffer (BTB) cevaplar; orada dalın son gittiği hedef adres saklanır.

Modern CPU’ların branch predictor’ları %95+ isabet oranına ulaşabilir. Yanlış tahmin edilirse pipeline boşaltılır (flush) ve doğru yoldan devam edilir; bu ceza onlarca saat çevrimi sürebilir.

Bu cezanın neye benzediğini de aynı şemayla görebiliriz. Bu kez 3. talimat koşullu bir dallanma:

Kaynak: William Stallings, Computer Organization and Architecture, 10. baskı, Şekil 14.11.

4’ten 7’ye kadar olan talimatların yarıda kesildiğine dikkat et — hiçbiri tamamlanmıyor. İşlemci onları çoktan pipeline’a almıştı, çünkü dallanmanın nereye gideceğini 7. çevrime kadar bilemedi. Öğrendiği anda o dört talimatın tamamı çöpe gidiyor ve pipeline 15. talimattan sıfırdan doluyor.

Şemadaki Branch Penalty aralığı işte bu israfın adı. Pipeline ne kadar derinse, yanlış tahmin anında çöpe giden iş de o kadar artar. Branch prediction’ın neden bu kadar önemsendiği tek cümleyle buradadır: doğru tahmin bedavadır, yanlış tahmin bu boşluğu ödetir.

Spekülatif Yürütme ve Güvenlik

Devam etmeden önce iki farklı “durum” arasındaki ayrımı yapmam gerekiyor, çünkü bölümün geri kalanı bunun üzerine kuruluyor.

Mimari durum, programın görmesine izin verilen şeydir: register’ların değerleri, belleğin içeriği. Mikro-mimari durum ise programın göremediği, işlemcinin kendi iç defteridir: hangi satır cache’e girdi, tahmin edici ne öğrendi, hangi tampon doldu.

Şimdi bölümün en önemli cümlesi: spekülatif yürütme mimari durumu geri alabilir, mikro-mimari durumu geri alamaz. Spectre’ın tamamı burada saklı.

Tahmin edilen dalın talimatlarını spekülatif olarak yürütme (speculative execution), tahmin doğru çıkana kadar mimari sonuçları geçici tutmak demektir. Tahmin doğruysa sonuçlar görünür hâle gelir, yanlışsa mimari durum geri alınır. Sorun şu: geri alınan spekülatif yürütme bile cache gibi mikro-mimari yapılarda ölçülebilir iz bırakabilir.

2018’de duyurulan Spectre ve Meltdown ailesi açıklar bu farkı görünür yaptı:

• Spectre: Branch prediction ve spekülatif yürütme, normalde okunmaması gereken veriye bağlı cache izleri oluşturabilir. Saldırgan bu izleri zamanlama ölçümleriyle okuyarak gizli veriyi dolaylı çıkarabilir.
• Meltdown: Bazı Intel işlemcilerinde sıra bozuktu. CPU, kernel’a ait bir bellek adresini önce okuyor, izin kontrolünü sonra yapıyordu. Kontrol yapılınca sonuç iptal ediliyordu — ama okunan değer o arada cache’i çoktan değiştirmişti. Sıradan bir programın, hiçbir zaman göremeyeceği kernel verisini cache’in davranışından geri çıkarabilmesi buradan doğdu.

Bu açıkların ardından işlemci üreticileri ve işletim sistemleri birkaç ayrı savunma geliştirdi: mikrokod güncellemeleri işlemcinin davranışını sahada değiştirdi, KPTI kernel’ın bellek haritasını kullanıcı programlarının görüş alanından çıkardı, site isolation tarayıcıda her siteyi ayrı bir process’e taşıdı, retpoline ise dolaylı dalları tahmin edilemez hâle getiren bir derleyici hilesi olarak devreye girdi. Bu savunmalardan hangilerinin senin makinende açık olduğunu tahmin etmene gerek yok; bölümün sonunda tek komutla nasıl kontrol edeceğini göstereceğim.

Bu bölümün en önemli beş adımını tek bir şemada topladım. Özellikle son ikisine dikkat et: geri alınan şey ile geri alınmayan şey.

Bunların İzi Kendi Makinende Duruyor

Bu bölümde anlattıklarım soyut kalmasın: hepsinin izi şu anda önünde duran makinede var.

Linux’ta lscpu komutu işlemcinin modelini, çekirdek sayısını ve çekirdek başına kaç thread çalıştığını (yani SMT açık mı) tek bakışta gösterir. Aynı komutun uzun çıktısında işlemcinin desteklediği özelliklerin listesi de yer alır ve o liste güzel bir tarih dersidir: avx2 SIMD kuşağını, ht hyper-threading’i, nx 15. bölümde göreceğimiz çalıştırılamaz sayfa bitini gösterir. pti gördüğünde ise doğrudan bu bölümün konusuna bakıyorsun demektir — Meltdown’a karşı alınan sayfa tablosu izolasyonu açık.

Yani o listede yalnızca yetenekler değil, geçmişte yaşanmış açıkların izleri de duruyor.

Bir adım daha ileri gitmek istersen ölçülecek tek bir sayı var: IPC (Instructions Per Cycle), yani saat çevrimi başına biten talimat sayısı. IPC birin üzerindeyse işlemci gerçekten superscalar çalışıyor, aynı çevrimde birden fazla talimat bitiriyor demektir. Birin altındaysa pipeline boş bekliyordur: ya cache’ten veri gelmiyordur, ya da bir dal tahmini tutmamıştır. Bu bölümü okuduktan sonra o tek sayıyı gördüğünde arkasında ne olduğunu biliyor olacaksın.

Özet

Peki, ne öğrendik?

• Branch prediction, dallanmanın yönünü geçmiş davranışa bakarak tahmin eder ve modern işlemcilerde %95’in üzerinde isabet tutturur.
• Yanlış tahminin bedeli pipeline’ın boşaltılmasıdır; onlarca çevrim çöpe gider.
• Spekülatif yürütme, tahmin edilen yolu koşul daha hesaplanmadan yürütmektir. Tahmin yanlışsa mimari sonuçlar geri alınır — ama cache’te bıraktığı iz geri alınmaz.
• Spectre ve Meltdown tam olarak o izin okunabilmesinden doğar. Bir yazılım hatası değil, performans için kurulmuş paylaşımın doğal sonucudurlar.
• Bu bölümün tek cümlelik dersi: bir soyutlamanın sızdığı yer, çoğu zaman onu hızlandıran yerdir.

Artık CPU’ya bir daha “talimatları sırayla yürüten motor” diye bakamazsın. Baktığın şey, her çevrimde onlarca talimatı havada tutan, geleceği tahmin eden ve bu tahminlerin izini cache’te bırakan bir makine.

Donanım tarafını burada kapatıyoruz. Sıradaki bölümden itibaren yazılım tarafına geçiyor ve tek bir soruyu sonuna kadar takip ediyoruz: bir program çalıştırdığında tam olarak ne oluyor?