0

0

用于大数据处理的高性能计算采用的4个步骤

-

-

发布时间:2018-03-10 09:48:29

|

2155人浏览过

|

来源于php中文网

原创

如果企业需要采用处理其大数据的高性能计算,则在内部部署运营可能效果最佳。以下是企业需要了解的内容,其中包括高性能计算和hadoop的不同之处。

在大数据领域,并非每家公司都需要高性能计算(HPC),但几乎所有使用大数据的企业都采用了Hadoop式分析计算。

1.jpg

HPC和Hadoop之间的区别很难区分,因为可以在高性能计算(HPC)设备上运行Hadoop分析作业,但反之亦然。 HPC和Hadoop分析都使用并行数据处理,但在Hadoop 和分析环境中,数据存储在硬件上,并分布在该硬件的多个节点上。在高性能计算(HPC)中,数据文件的大小要大得多,数据存储集中。高性能计算(HPC)由于其文件体积庞大,还需要更昂贵的网络通信(如InfiniBand),因此需要高吞吐量和低延迟。

企业首席信息官的目的很明确:如果企业可以避免使用HPC并只将Hadoop用于分析,可以执行此操作。这种方式成本更低,更易于员工操作,甚至可以在云端运行,其他公司(如第三方供应商)可以运行它。

不幸的是,对于需要高性能计算(HPC)进行处理的生命科学、气象、制药、采矿、医疗、政府、学术的企业和机构来说,全部采用Hadoop是不可能的。由于文件规模较大,处理需求极其严格,采用数据中心或与采用云计算都不是很好的方案。

简而言之,高性能计算(HPC)是一个在数据中心内部运行的大数据平台的完美示例。正因为如此,企业如何确保其投资巨大的硬件完成需要的工作成为了一个挑战。

大数据Hadoop和HPC平台提供商PSCC Labs首席战略官Alex Lesser表示:“这是必须使用HPC来处理其大数据的许多公司面临的挑战。大多数这些公司都有支持传统IT基础设施,他们很自然地采用了这种思路,自己构建Hadoop分析计算环境,因为这使用了他们已经熟悉的商用硬件,但是对于高性能计算(HPC)来说,其响应通常是让供应商来处理。”

考虑采用高性能计算(HPC)的公司需要采取以下四个步骤:

1.确保企业高层对高性能计算(HPC)的支持

企业的高层管理人员和董事会成员不一定要求是高性能计算领域的专家,但绝不能没有他们的理解和支持。这些管理人员都应该对高性能计算(HPC)有足够的了解,以及可以为企业明确支持可能制定的大规模硬件、软件和培训投资。这意味着他们必须在两个方面受到教育:(1)HPC是什么,为什么它与普通分析不同,需要采用特殊的硬件和软件。(2)为什么企业需要使用HPC而不是原有的分析来实现其业务目标。这两项教育工作都应由首席信息官(CIO)或首席开发官(CDO)负责。

Lesser表示:“采用HPC的最积极的公司是那些相信他们真正的科技公司,他们指的是亚马逊AWS云服务,最初只是亚马逊公司的零售业务,现在已成为一个庞大的利润中心。”

MVM mall 网上购物系统
MVM mall 网上购物系统

采用 php+mysql 数据库方式运行的强大网上商店系统,执行效率高速度快,支持多语言,模板和代码分离,轻松创建属于自己的个性化用户界面 v3.5更新: 1).进一步静态化了活动商品. 2).提供了一些重要UFT-8转换文件 3).修复了除了网银在线支付其它支付显示错误的问题. 4).修改了LOGO广告管理,增加LOGO链接后主页LOGO路径错误的问题 5).修改了公告无法发布的问题,可能是打压

下载

2.考虑一个可以自定义的预配置硬件平台

PSSC Labs等公司提供预打包和预配置的HPC硬件。“我们有一个基于HPC最佳实践的基本软件包,可以与客户一起根据客户的计算需求定制这个基础软件包。”Lesser说,他指出几乎每个数据中心都必须进行一些定制。

3.了解回报

与任何IT投资一样,HPC必须符合成本效益,并且企业应该能够获得投资回报(ROI),这一点在管理层和董事会的头脑中已经阐明。“一个很好的例子是飞机设计。”Lesser说。 “高性能计算(HPC)的投资规模很大,但是当公司发现它可以使用HPC进行设计模拟并获得5个9的准确性,并且不再需要租用物理风洞时,就会很快收回了HPC投资。”

4.培训自己的IT员工

HPC计算对企业的IT员工来说不是一个简单的过渡,但是如果企业要运行内部部署操作,则应该让团队定位以实现自给自足。

最初,企业可能需要聘请外部咨询人员才能开始工作。但咨询任务的目标应始终是双重目标:(1)让HPC应用程序继续运行,(2)将知识传授给员工,以便他们能够接管操作。企业不应该满足于此。

HPC团队的核心是需要一名数据科学家,他能够开发高性能计算所需的高度复杂的算法来回答企业的问题。它还需要一名精通C +或Fortran技能,并能够在并行处理环境中工作的强大系统的程序员,或者是网络通信专家。

“最重要的是,如果企业每两周要运行一次或两次工作,就应该到云端来承载其HPC。”Lesser说,“但是如果企业正在使用HPC资源和运行作业,如制药公司或生物学公司可能每天多次运行,那么在云端运行就会浪费资金,应该考虑运行自己的内部操作。”

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

28

2026.01.26

edge浏览器怎样设置主页 edge浏览器自定义设置教程
edge浏览器怎样设置主页 edge浏览器自定义设置教程

在Edge浏览器中设置主页,请依次点击右上角“...”图标 > 设置 > 开始、主页和新建标签页。在“Microsoft Edge 启动时”选择“打开以下页面”,点击“添加新页面”并输入网址。若要使用主页按钮,需在“外观”设置中开启“显示主页按钮”并设定网址。

8

2026.01.26

苹果官方查询网站 苹果手机正品激活查询入口
苹果官方查询网站 苹果手机正品激活查询入口

苹果官方查询网站主要通过 checkcoverage.apple.com/cn/zh/ 进行,可用于查询序列号(SN)对应的保修状态、激活日期及技术支持服务。此外,查找丢失设备请使用 iCloud.com/find,购买信息与物流可访问 Apple (中国大陆) 订单状态页面。

31

2026.01.26

npd人格什么意思 npd人格有什么特征
npd人格什么意思 npd人格有什么特征

NPD(Narcissistic Personality Disorder)即自恋型人格障碍,是一种心理健康问题,特点是极度夸大自我重要性、需要过度赞美与关注,同时极度缺乏共情能力,背后常掩藏着低自尊和不安全感,影响人际关系、工作和生活,通常在青少年时期开始显现,需由专业人士诊断。

3

2026.01.26

windows安全中心怎么关闭 windows安全中心怎么执行操作
windows安全中心怎么关闭 windows安全中心怎么执行操作

关闭Windows安全中心(Windows Defender)可通过系统设置暂时关闭,或使用组策略/注册表永久关闭。最简单的方法是:进入设置 > 隐私和安全性 > Windows安全中心 > 病毒和威胁防护 > 管理设置,将实时保护等选项关闭。

5

2026.01.26

2026年春运抢票攻略大全 春运抢票攻略教你三招手【技巧】
2026年春运抢票攻略大全 春运抢票攻略教你三招手【技巧】

铁路12306提供起售时间查询、起售提醒、购票预填、候补购票及误购限时免费退票五项服务,并强调官方渠道唯一性与信息安全。

35

2026.01.26

个人所得税税率表2026 个人所得税率最新税率表
个人所得税税率表2026 个人所得税率最新税率表

以工资薪金所得为例,应纳税额 = 应纳税所得额 × 税率 - 速算扣除数。应纳税所得额 = 月度收入 - 5000 元 - 专项扣除 - 专项附加扣除 - 依法确定的其他扣除。假设某员工月工资 10000 元,专项扣除 1000 元,专项附加扣除 2000 元,当月应纳税所得额为 10000 - 5000 - 1000 - 2000 = 2000 元,对应税率为 3%,速算扣除数为 0,则当月应纳税额为 2000×3% = 60 元。

12

2026.01.26

oppo云服务官网登录入口 oppo云服务登录手机版
oppo云服务官网登录入口 oppo云服务登录手机版

oppo云服务https://cloud.oppo.com/可以在云端安全存储您的照片、视频、联系人、便签等重要数据。当您的手机数据意外丢失或者需要更换手机时,可以随时将这些存储在云端的数据快速恢复到手机中。

40

2026.01.26

抖币充值官方网站 抖币性价比充值链接地址
抖币充值官方网站 抖币性价比充值链接地址

网页端充值步骤:打开浏览器,输入https://www.douyin.com,登录账号;点击右上角头像,选择“钱包”;进入“充值中心”,操作和APP端一致。注意:切勿通过第三方链接、二维码充值,谨防受骗

7

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7.8万人学习

Git 教程
Git 教程

共21课时 | 3万人学习

Django 教程
Django 教程

共28课时 | 3.5万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号