
Giriş: Kibertəhlükəsizlik Agentlərinin Ən Zəif Bəndi
Böyük Dil Modelləri (LLM) əsasında fəaliyyət göstərən avtonom təhlükəsizlik agentləri son dövrlərdə kibertəhlükəsizlik əməliyyatlarının mərkəzinə çevrilməkdədir. İstər avtomatlaşdırılmış nüfuzetmə testləri (penetration testing), istərsə də insidentlərə cavab tədbirləri zamanı bu agentlərin qərargəbulu yüksək qiymətləndirilir. Lakin reallıqda agentlərin uğursuzluq dərəcəsi hələ də yüksəkdir. Bu uğursuzluqların kökündə konseptual bilik çatışmazlığı deyil, tamamilə fərqli bir problem dayanır: agentin yüksək səviyyəli niyyətini (intent) dəqiq, işlək və xətasız terminal əmrinə (CLI invocation) çevirə bilməməsi.
Bu sintaktik və funksional boşluğu ölçmək üçün hazırlanmış KaliBench, canlı sistemlərə zərər vurmadan agentlərin əmr sətri alətlərindən istifadə bacarığını qiymətləndirən yeni meyar (benchmark) çərçivəsidir. Bu məqalədə KaliBench-in iş mexanizmi, agentlərin nə üçün komanda sətrində səhvlərə yol verdiyi və platformanın necə tətbiq olunacağı dərindən araşdırılır.
Niyyət və İcra Arasındakı Boşluq: Problem Nədədir?
Bir təhlükəsizlik mütəxəssisi LLM agentinə “Hədəf şəbəkədəki 445-ci portu skan et, SMB versiyasını müəyyənləşdir və anonim giriş imkanlarını yoxla” təlimatını verdikdə, model tapşırığın mahiyyətini tam dərk edir. Agent hədəfin SMB servisi olduğunu, hansı skriptlərin tələb olunduğunu və risk vektorunu anlayır. Lakin problem bu niyyəti nmap sintaksisinə çevirərkən yaranır.
Komanda Sətri İnterfeysləri (CLI) təbii dildən fərqli olaraq heç bir sintaktik elastikliyə dözümlü deyil. Əsas çətinliklər aşağıdakı faktorlardan qaynaqlanır:
- Bayraqların (Flags) Dəqiqliyi: Tək tire (
-) ilə cüt tire (--) arasındakı fərq, böyük-kiçik hərflərin həssaslığı (məsələn,-sVəvəzinə-svyazılması əmrin çökməsinə səbəb olur). - Arqumentlərin Ardıcıllığı: Bəzi yardımçı alətlərdə arqumentlərin mövqeyi (positional arguments) onların işləmə mexanizmini kökündən dəyişir.
- Kombinasiyalı Parametrlər: Eyni anda bir neçə modulu işə salarkən tələb olunan ayırıcılar (vergüllər, boşluqlar və ya bərabərlik işarələri) modellər tərəfindən tez-tez qarışdırılır.
KaliBench Nədir və Necə İşləyir?
KaliBench, Kali Linux ekosistemində yer alan populyar təhlükəsizlik alətlərinin (məsələn, nmap, sqlmap, gobuster, hydra, ffuf və s.) istifadəsini qiymətləndirən ixtisaslaşdırılmış benchmark platformasıdır. KaliBench-i ənənəvi qiymətləndirmə çərçivələrindən fərqləndirən ən mühüm amil onun təhlükəsizlik arxitekturasıdır.
Ənənəvi təhlükəsizlik testləri agentin əmri icra etməsini (live execution) tələb edir ki, bu da şəbəkə kəsintilərinə, sistemlərin çökməsinə və ya nəzarətsiz eksploitasiyaya yol aça bilər. KaliBench isə tərcümə qatını (translation layer) təcrid olunmuş və deterministik şəkildə yoxlayır. Agentin təqdim etdiyi əmr icra edilmir; əvəzində əmrin Abstrakt Sintaksis Ağacı (AST) və parametrik tərkibi mütəxəssislər tərəfindən hazırlanmış qızıl standartlarla (ground truth) müqayisə edilir.
Əsas Göstəricilər və Müqayisə
Aşağıdakı cədvəldə canlı mühit testləri ilə KaliBench yanaşmasının texniki fərqləri ümumiləşdirilmişdir:
| Xüsusiyyət | Canlı İcra Meyarları (Live Execution) | KaliBench Yanaşması |
|---|---|---|
| Təhlükəsizlik Riski | Yüksək (Sistemlərə zərər vurma riski) | Sıfır (Heç bir dağıdıcı əmr icra olunmur) |
| Təkrarlanma Dərəcəsi | Aşağı (Şəbəkə gecikmələri və vəziyyət dəyişiklikləri) | Yüksək (100% Deterministik nəticələr) |
| Hesablama Xərci | Yüksək (Hədəf virtual maşınlar tələb olunur) | Aşağı (Yalnız sintaksis və struktur analizi) |
| Xətanın Lokallaşdırılması | Çətin (Əmrin niyə uğursuz olduğu aydın deyil) | Dəqiq (Səhv bayraq və parametr dərhal aşkarlanır) |
Addım-addım Təlimat: KaliBench-in Quraşdırılması və İstifadəsi
KaliBench platformasını lokal mühitinizdə işə salaraq təhlükəsizlik yönümlü LLM-lərinizin və ya avtonom agentlərinizin performansını birbaşa yoxlaya bilərsiniz.
1. Tələblər və Repozitoriyanın Əldə Edilməsi
İlk olaraq sisteminizdə Python 3.10 və ya daha yüksək versiyanın quraşdırıldığından əmin olun. Layihəni rəsmi repozitoriyadan klonlayın və virtual mühit yaradın:
git clone https://github.com/your-org/kalibench.git
cd kalibench
python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt
2. Ətraf Mühit Dəyişənlərinin Tənzimlənməsi
Test edəcəyiniz LLM provayderinin açarlarını (məsələn, OpenAI, Anthropic və ya lokal vLLM/Ollama endpoint-lərini) konfiqurasiya edin:
cp .env.example .env
export OPENAI_API_KEY="sk-..."
export ANTHROPIC_API_KEY="claude-..."
3. Qiymətləndirmə Testlərinin İşə Salınması
Aşağıdakı əmrlə müəyyən bir alət qrupu (məsələn, şəbəkə kəşfiyyatı və ya veb zəiflikləri) üzrə agentin komanda generasiya dəqiqliyini qiymətləndirin:
# Nmap və şəbəkə skan alətləri üzrə qiymətləndirmə
python -m kalibench.cli evaluate \
--model gpt-4o \
--category network_recon \
--output results/network_results.json
4. Nəticələrin Təhlili
İcra tamamlandıqdan sonra KaliBench ətraflı statistik hesabat təqdim edir. Hesabatda sintaktik uyğunluq (Syntactic Validity), bayraq dəqiqliyi (Flag Recall & Precision) və arqument sıralaması faizlərlə göstərilir:
python -m kalibench.cli report --file results/network_results.json --format summary
Nəticə və Sənayeyə Təsiri
KaliBench sübut edir ki, avtonom agentlərin inkişafında ən böyük maneə təhlükəsizlik ontologiyasını anlamaq deyil, deterministik sintaksis generasiyasıdır. Agentlərin “düşüncə tərzi” (reasoning) ilə komanda sətri arasındakı bu boşluq qapadılmadıqca, avtonom Red Teaming və ya Blue Team agentlərini kritik istehsalat mühitlərinə buraxmaq ciddi əməliyyat riskləri yaradacaqdır.
Gələcəkdə alətlərdən istifadə edən (tool-augmented) modellərin təlim prosesində KaliBench kimi deterministik mühitlərdən istifadə edilməsi, agentlərin sintaksis xətalarını minimuma endirəcək və kibertəhlükəsizlik əməliyyatlarının avtomatlaşdırılmasını yeni mərhələyə daşıyacaqdır.