medium.com

Süni İntellektdə Yeni Mərhələ: Mətn Qenerasiyasından Mürəkkəb MoE və Agentik Sistemlərə Keçid

Qlobal süni intellekt ekosistemi sadə dil modellərinin mətn generasiyası etdiyi dövrü sürətlə geridə qoyur. Müasir tədqiqatlar və sənaye tətbiqləri artıq birbaşa dərin məntiqi mühakimə (advanced reasoning), avtonom qərarvermə qabiliyyətinə malik agentik iş axınları (agentic workflows) və nəhəng miqyaslı Mütəxəssislər Qarışığı (Mixture-of-Experts – MoE) arxitekturalarına fokuslanıb. Xüsusilə Moonshot AI şirkətinin Kimi seriyası kimi açıq və qapalı çəkili modellər parametrlərin sayını trilyonlar səviyyəsinə çatdıraraq süni intellektin miqyaslanma fəlsəfəsini kökündən dəyişib.

Mixture-of-Experts (MoE) Arxitekturasının Texniki Mahiyyəti

Ənənəvi sıx (dense) neyron şəbəkələrində hər bir daxil olan token üçün modelin bütün parametrləri hesablamaya cəlb olunur. Bu yanaşma model böyüdükcə həndəsi silsilə ilə artan hesablama xərclərinə və gecikmələrə (latency) səbəb olur. MoE arxitekturası isə bu problemi seyrək aktivasiya (sparse activation) mexanizmi ilə həll edir.

MoE arxitekturasında şəbəkə bir neçə alt-şəbəkəyə — “mütəxəssisə” (expert) bölünür və prosesi yönləndirici qapı şəbəkəsi (gating/routing network) idarə edir:

• Yönləndirmə Şəbəkəsi (Router/Gating Network): Daxil olan hər bir tokenin məzmununu təhlil edir və onun emalı üçün ən uyğun mütəxəssisləri seçir.
• Top-K Seçimi: Trilyonlarla parametrə malik modeldə adətən hər token üçün yalnız 2 və ya 4 mütəxəssis (Top-2 və ya Top-4) aktivləşdirilir.
• Hesablama Səmərəliliyi: Model ümumilikdə 1-2 trilyon parametrə malik olsa belə, aktiv parametrlərin həcmi kiçik model səviyyəsində qalır və bu da FLOPs (Floating Point Operations) xərclərini minimuma endirir.

İnfrastruktur Böhranı: GPU Klasterlərinin Limitləri

MoE arxitekturaları hər token üçün hesablama əməliyyatlarını azaltsa da, aparat təminatı səviyyəsində ciddi infrastruktur çağırışları yaradır. Bütün mütəxəssislərin çəkiləri (weights) video yaddaşda (VRAM) saxlanılmalıdır. Trilyonluq parametrlərə malik sistemlərin yerləşdirilməsi NVIDIA H100 və ya B200 kimi qabaqcıl qrafik prosessor klasterlərini belə texniki hədlərinə çatdırır.

Əsas texniki darboğazlar aşağıdakılardır:

1. Yaddaş Həcmi və Ötürmə Zolağı (Memory Bandwidth): Mütəxəssis çəkilərinin dinamik şəkildə aktivləşməsi yaddaş ötürmə zolağında böyük yüklənmələr yaradır.
2. Şəbəkələrarası Gecikmə (Inter-node Communication): Mütəxəssislər müxtəlif GPU düyünlərinə paylandıqda (Expert Parallelism), tokenlərin lazımi GPU-ya ötürülməsi üçün yüksək sürətli NVLink və InfiniBand bağlantıları kritik amilə çevrilir.
3. All-to-All Kommunikasiya Tələbi: Router mexanizminin tokenləri mütəxəssislər arasında paylaması intensiv şəbəkə mübadiləsi tələb edir, bu da klaster miqyaslandıqca şəbəkə daralmalarına səbəb olur.

Dense və Sparse MoE Arxitekturalarının Müqayisəsi

Praktiki Bələdçi: Sadə MoE Router Mexanizminin Simulyasiyası

MoE arxitekturasının təməl iş prinsipini anlamaq üçün PyTorch mühitində sadə yönləndirmə (routing) mexanizmini qurmaq mümkündür. Aşağıdakı addımlarla zəruri mühiti təmin edib sınaqdan keçirə bilərsiniz.

1. Virtual Mühitin Hazırlanması və Asılılıqların Quraşdırılması

# Virtual mühit yaradın və aktivləşdirin
python3 -m venv moe_env
source moe_env/bin/activate

# Tələb olunan kitabxanaları quraşdırın
pip install torch numpy

2. Sadə Top-K MoE Şəbəkəsinin Qurulması

Aşağıdakı Python skripti (moe_core.py) token daxiletməsini qəbul edən, ən yüksək ehtimala malik mütəxəssisləri seçən və nəticəni birləşdirən router mexanizmini əks etdirir:

cat << 'EOF' > moe_core.py
import torch
import torch.nn as nn
import torch.nn.functional as F

class Expert(nn.Module):
    def __init__(self, d_model, d_ff):
        super().__init__()
        self.net = nn.Sequential(
            nn.Linear(d_model, d_ff),
            nn.ReLU(),
            nn.Linear(d_ff, d_model)
        )
    def forward(self, x):
        return self.net(x)

class SimpleMoERouter(nn.Module):
    def __init__(self, d_model, num_experts, top_k=2):
        super().__init__()
        self.num_experts = num_experts
        self.top_k = top_k
        self.gate = nn.Linear(d_model, num_experts)
        self.experts = nn.ModuleList([Expert(d_model, d_model * 4) for _ in range(num_experts)])

    def forward(self, x):
        batch_size, seq_len, d_model = x.shape
        x_flat = x.view(-1, d_model)
        
        # Router çıxışlarını və mütəxəssis çəkilərini hesablamaq
        gate_logits = self.gate(x_flat)
        weights, indices = torch.topk(F.softmax(gate_logits, dim=-1), self.top_k)
        
        # Nəticəni birləşdirmək
        final_output = torch.zeros_like(x_flat)
        for i in range(self.top_k):
            expert_idx = indices[:, i]
            expert_weight = weights[:, i].unsqueeze(1)
            
            for e in range(self.num_experts):
                mask = (expert_idx == e)
                if mask.any():
                    selected_inputs = x_flat[mask]
                    out = self.experts[e](selected_inputs)
                    final_output[mask] += out * expert_weight[mask]
                    
        return final_output.view(batch_size, seq_len, d_model)

if __name__ == "__main__":
    # Test parametrləri
    tokens = torch.randn(2, 4, 128) # Batch=2, Seq=4, Dim=128
    moe = SimpleMoERouter(d_model=128, num_experts=8, top_k=2)
    output = moe(tokens)
    print("Giriş ölçüsü:", tokens.shape)
    print("MoE çıxış ölçüsü:", output.shape)
EOF
python3 moe_core.py

Sənayeyə və Son İstifadəçilərə Təsiri

MoE arxitekturalarına və agentik strukturlara keçid texnologiya sektorunda bir sıra köklü dəyişikliklərə səbəb olur:

• Daha Sürətli və Dəqiq Agentik İş Axınları: Bir neçə addımlı planlaşdırma tələb edən proqramlaşdırma, hüquqi analiz və riyazi mühakimə tələb edən tapşırıqlar artıq gecikmə olmadan icra olunur.
• Hesablama Xərclərinin Yenidən Bölünməsi: Modelin təlimi (training) yüksək enerji tələb etsə də, inferensiya mərhələsində hər sorğu üçün xərclənən vəsait nəzərəçarpacaq dərəcədə azalır.
• İnfrastruktur Asılılığı: Nəhəng modelləri yerli serverlərdə (on-premise) işə salmaq yalnız yüksək ötürmə qabiliyyətinə və böyük VRAM-a malik korporativ sistemlər üçün əlçatan qalır. Bu isə bulud provayderlərinə tələbatı artırır.

Nəticə etibarilə, süni intellektin inkişafı artıq təkcə model parametrlərinin böyüdülməsi ilə deyil, hesablama resurslarının ağıllı paylanması, seyrək aktivasiya mexanizmləri və aparat təminatının optimallaşdırılması ilə birbaşa əlaqəlidir. MoE və agentik arxitekturalar bu transformasiyanın əsas hərəkətverici qüvvəsi olmağa davam edəcək.