关于优化IDS入侵检测系统告警误报的措施

意义

本项目意在优化IDS入侵检测系统的算法，使其降低误报率，现提供如下标准化IDS日志数据，其中参有人工标注报错，通过对数据的挖掘训练找到其中最优的解决算法

数据分析

• 1. 对训练数据集各字段进行统计分析，包括字段类型、缺失值情况 对于这样的数据我们认为可能不影响训练的结果，对于这样的特征可进行忽略或写0，使用data.info()查看数据中有字符型数据和浮点型数据还有汉字，catboost可以完美预处理类似数据。                    

• 3.其中发现srcAddress字段的分布情况差异很大，因此断定该字段是一个特别重要的特征            

!pip install catboost ##下载catboost算法模块

1.特征工程

对于非字符字段我们使用one-hot编码

VidAU

VidAU AI 是一款AI驱动的数字人视频创作平台，旨在简化视频内容创作流程

下载

##categorical_features_indices = np.where(X_train.dtypes != np.float)[0] #预处理

2.模型训练

# -*- coding: utf-8 -*-import pandas as pdimport numpy as npimport csvimport joblibfrom catboost import CatBoostClassifierfrom sklearn.model_selection import train_test_splitdef train_func(train_path):#请填写训练代码
    #数据导入
    data=pd.read_csv(train_path,encoding='utf-8')
    y_train = data.label
    data = data.fillna(0)
    
    X_train, X_validation, y_train, y_validation = train_test_split(data.iloc[:,:-1],data.iloc[:,-1], random_state=1234) #分割
    categorical_features_indices = np.where(X_train.dtypes != np.float)[0] #预处理
    #定义模型
    model = CatBoostClassifier(iterations=807, 
                               depth = 6,
                               cat_features = categorical_features_indices,
                               loss_function = "Logloss",
                               l2_leaf_reg =  4.0, 
                               learning_rate = 0.1501330270208967, 
                               border_count = 217,
                               thread_count = 43,
                               random_strength = 3.164261174069972)
    
    
    model.fit(X_train,y_train)#训练模型
    #导出模型
    joblib.dump(filename='my_model.kpl',value=model)
    joblib.dump(filename='..\predict_code\my_model.kpl',value=model)    passif __name__ == '__main__':
    train_path = '/home/aistudio/data/train.csv'
    train_func(train_path)

3. 特征重要性

通过查看特征重要性我们发现单一数据对于结果的影响         

模型验证：将训练集以0.75：0.25的比例划分为训练集和验证集，在验证集上的F1分数为：0.9925

4. 模型预测

# -*- coding: utf-8 -*-import numpy as npimport pandas as pdimport joblibdef test_func(test_path,save_path):# 请填写测试代码
    test = pd.read_csv(test_path,encoding='utf-8')    # 选手不得改变格式，测试代码跑不通分数以零算
    test = test.fillna(0)
    
    model = joblib.load(filename="/home/aistudio/my_model.kpl")
    x=test
    t=model.predict(x)    # #####选手填写测试集处理逻辑,在指定文件夹下生成可提交的csv文件
    data_df = pd.DataFrame(t)
    submission = test[['eventId']]
    submission['label'] = data_df
    submission.to_csv(save_path + 'DKsec_ad_submission_1030.csv',index = False,encoding='utf-8')    # demo#if __name__ == '__main__':
    test_path = '/home/aistudio/data/test_1.csv'
    sava_path = '/home/aistudio/result/'
    test_func(test_path,sava_path)