OpenMP并行加速笛卡尔乘积

看不見的法師

发布时间：2025-05-11 08:16:06

475人浏览过

来源于php中文网

原创

以下是对给定文章进行伪原创的输出，确保不改变文章的大意和图片的位置，并保持原文的语言：

字典字符集的笛卡尔乘积

问题描述：对于一个由字典字符集组合而成的表达式，如何求出所有可能的元素组合？例如，表达式[0-9][a-z]，其中0-9代表10个数字，a-z代表26个小写字母，其所有可能的元素组合为0a, 0b, ..., 0z, 1a, 1b, ..., 9z。字典字符集的笛卡尔乘积示例如下：

OpenMP并行加速笛卡尔乘积

问题分析：对于任意一个由字典字符集构成的表达式[dic0][dic1]...[dicn]，可以将其从左到右视为一个由字典元素组成的“数”，这符合我们日常表示数值的高低位习惯。例如，如果所有字典都是[0-9]，那么表达式[0-9][0-9]就代表数值字符串00到99。笛卡尔乘积的空间是各个字典高度的乘积，给定其空间中的任意一个元素下标，就可以对应到每个字典中的元素下标。比如[0-9][0-9]的笛卡尔乘积空间是10*10=100，第0个元素是00，第99个元素是99。

每个字典元素都有一个位权重。例如，表达式[0-9][0-9]中，第一个字典的位权重w=10，第二个字典的位权重w=1。我们常说的个位、十位、百位，就是基于数值位的位权重来称呼的。位权重的意义在于，数值是其位权重的多少倍，就取第几个元素。例如，第99个元素（下标从0开始），数值99是十位的位权重w=10的9倍，所以元素为字符‘9’，对数值99取w=10的余数得9，9是个位的位权重w=1的9倍，所以元素为字符‘9’，因此构成了字符串99。

实现示例：对于表达式[0-9][a-z][A-Z]，其笛卡尔乘积的具体过程可以描述如下：（1）从左至右（高位到低位）计算各个字典字符集所在数位的计算单位，通过当前字典右边的字典高度相乘得到，例如[0-9]的计数单位w=2626=676，[a-z]的计数单位w=261=26，[A-Z]的计数单位w=1。（2）给定笛卡尔乘积空间的元素下标i，根据i找到各个字典内的元素下标的过程如下，从高位开始查找，即从左开始查找。（2.1）查找字典[0-9]中的元素下标：[0-9].index=i/[0-9].w；（2.2）查找字典[a-z]中的元素下标[a-z].index：i=i%[0-9].w; [a-z].index=i/[a-z].w;（2.3）查找字典[A-Z]中的元素下标[A-Z].index：i=i%[a-z].w；[A-Z].index=i/1=i。（3）将i从0递增至笛卡尔乘积的空间大小减一，即10*26*26-1，重复步骤2，即可完成表达式[0-9][a-z][A-Z]的笛卡尔乘积。

例如，给定第677个笛卡尔乘积的元素，那么[0-9].index=1，所以取[0-9]内的元素‘1’，[a-z].index=671%676/26=0，所以取出元素‘a’，[A-Z].index=1/1=1，所以取出元素‘B’，因此第677个元素就是“1aB”。

源码

以下代码在Linux平台上编译运行，稍作修改即可移植到Windows平台。其功能是完成多个字典字符集的笛卡尔乘积，并通过OpenMP进行并行加速。该代码的正确性已在实际项目中通过验证。

代码语言：JavaScript 代码运行次数：0

运行复制

#include 
#include 
#include 
#include 
#include 
using namespace std;
typedef unsigned char uint8;
// 字典字符集与段字符集
struct charset_mem{
int high, width;                     // 字符集的宽度和高度
int mem_size;                       // 字符集data所占用的内存,单位字节
uint8 *data;                        // 字符集的数据
char name[128];                     // 字符集名称
};
map dic_utf8_charset_map; // 全局字典字符集缓存
map dic_ucs2_charset_map; // 全局字典字符集缓存
map seg_charset_map;      // 全局段字符集缓存
pthread_mutex_t charset_mutex;
// 功能：根据多个字典字符集生成相应的笛卡尔乘积
// 参数：charsetID:笛卡尔乘积结果字符集名称，dicNum:字典字符集数目，dicName：字典字符集名称数组指针，encode：字典字符编码类型
// 返回值：成功返回true，失败返回false
bool cartesianProduct(string charsetID,  int dicNum, char(dicName)[128], uint8 encode){
pthread_mutex_lock(&charset_mutex);    // 对字符集的map关联容器修改需要加锁
string charsetNewedID = charsetID;
map::iterator iter;
charset_mem segNewedCharset = new charset_mem;
memset(segNewedCharset, 0, sizeof(charset_mem));
strcpy(segNewedCharset->name, charsetNewedID.c_str());
#define MAX_WORD_LEN 40
#define MAX_DIC_NUM 32

// 笛卡尔乘积（cartesian product）准备工作
mapzuojiankuohaophpcnstringyoujiankuohaophpcn&  dic_charset_map = (0 == encode) ? dic_utf8_charset_map : dic_ucs2_charset_map;
int high = 1, width = 0;
int s[MAX_DIC_NUM] = {0};                         // 字典段进制位
for(int i = dicNum - 1; i youjiankuohaophpcn= 0; --i){
    iter = dic_charset_map.find(dicName[i]);
    s[i] = iter-youjiankuohaophpcnsecond-youjiankuohaophpcnhigh;
    high *= iter-youjiankuohaophpcnsecond-youjiankuohaophpcnhigh;
    width += iter-youjiankuohaophpcnsecond-youjiankuohaophpcnwidth;
}
segNewedCharset-youjiankuohaophpcnhigh = high;
segNewedCharset-youjiankuohaophpcnwidth = width;
segNewedCharset-youjiankuohaophpcndata = new uint8[high * width];

// 笛卡尔乘积
int thread_num = omp_get_max_threads(); // 获取处理器最大可并行的线程数
#pragma omp parallel for num_threads(thread_num)
for(int i = 0; i zuojiankuohaophpcn high; ++i){
    uint8 wordTmp[MAX_WORD_LEN] = {0};
    mapzuojiankuohaophpcnstringyoujiankuohaophpcn::iterator iterTmp;
    int offset = 0;
    int charpos = i;
    for(int j = 0; j zuojiankuohaophpcn dicNum; ++j){
        iterTmp = dic_charset_map.find(dicName[j]);
        int indexDic = charpos / s[j];
        int offsetDic = indexDic * iterTmp-youjiankuohaophpcnsecond-youjiankuohaophpcnwidth;
        memcpy(wordTmp + offset, iterTmp-youjiankuohaophpcnsecond-youjiankuohaophpcndata + offsetDic, iterTmp-youjiankuohaophpcnsecond-youjiankuohaophpcnwidth);
        charpos = charpos % s[j];
        offset += iterTmp-youjiankuohaophpcnsecond-youjiankuohaophpcnwidth;
    }
    memcpy(segNewedCharset-youjiankuohaophpcndata + i * segNewedCharset-youjiankuohaophpcnwidth, wordTmp, segNewedCharset-youjiankuohaophpcnwidth);
}

// 将结果字符集添加到，map映射表
seg_charset_map.insert(pairzuojiankuohaophpcnstringyoujiankuohaophpcn(charsetNewedID, segNewedCharset));
pthread_mutex_unlock(&charset_mutex);
return true;
}
优化
在撰写毕业论文时，通过实验室同学的建议，发现无需预先计算各个字典所在数位的计数单位，也可以根据给定的笛卡尔乘积的元素下标唯一地找到各个字典中对应的元素。为了避免论文查重时的重复，这里只展示图片。具体实现已经抽象为以下算法：

							
								
								
									Tome
									先进的AI智能PPT制作工具
								
								下载 
							
						
算法中的注释中的热词就是上文提到的字典，其实现原理是从表达式的低位到高位计算每一个字典的元素下标，而未优化的方法是从高位到低位顺序计算。从低位到高位计算时，无需预先求出各个字典位的计数单位。因为：当字典位的计数单位为w=1时，可以通过笛卡尔乘积的元素下标i对其高度h取余，即得到最低字典位字典内的元素下标。当对下一个字典求其元素下标时，需要将下一个字典位的计数单位w’变为1，具体做法就是i除以当前字典的高度向下取整。依次类推，就可以求出各个字典内的元素下标了。具体描述见上面的算法。
以表达式[0-9][a-z][A-Z]为例，求笛卡尔乘积中第677个（从0开始）元素的各个字典内的元素下标的过程描述如下：（1）求字典[A-Z]的元素下标index=i%[A-Z].h=677%26=1，所以取元素‘B’；（2）求字典[a-z]的元素下标index：（2.1）将[a-z]的计数单位变为1，做法是i=i/[A-Z].h=677/26=26；（2.2）求[a-z].index=i%[a-z].h=26%26=0，所以取元素‘a’。（3）求字典[0-9]的元素下标index：（3.1）将[0-9]的计数单位变为1，做法是i=i/[a-z].h=26/26=1；（3.2）求[0-9].index=i%[0-9].h=1%10=1，所以取元素‘1’。因此，第677个笛卡尔乘积的元素就是“1aB”，与上面的算法殊途同归。
再优化
仔细阅读上面的算法描述，你会发现算法的内层循环存在重复的字典元素拷贝，例如笛卡尔乘积元素下标0~25对应的字典[0-9]和[a-z]内的元素下标始终是0，那么就重复拷贝了[0-9]和[a-z]中元素25次。针对该问题，可以对上面的算法做进一步的优化。
以一次字典元素拷贝作为基本操作，那么第二小节和第三小节的时间复杂度是O(hn)，h为笛卡尔乘积空间大小，n为字典个数。
再优化算法描述如下：

再优化步骤描述如下：（1）选取高度最高的字典S_k；（2）循环h次，h为其它字典高度的乘积；（2.1）将其它字典元素拼接在一起；（2.2）循环最高字典高度H_k次，k为最高字典的下标，将元素填充到临时字符串s中后，将s加入笛卡尔乘积集合。
时间复杂度为O(h_0(n-1)+h_0h_1)=O(h_0(h_1+n-1))。其中h_0为非最高字典高度乘积，h_1为最高字典高度，n为字典个数，n≥2。上文中未优化的时间复杂度是优化后的倍数t=h_0h_1n/h_0(h_1+n-1)=n/(1+(n-1)/ h_1)，可见，n和h_1越大，优化效果越明显。假设h_1*很大，那么优化的倍数大约为字典的个数。