-
CSU 1720 How to Get 2^n （大数+hash）
所属栏目：[大数据] 日期：2021-03-17 热度：110
题意：给你10W个数字，每个数都是大数，范围是1到10^30，然后问你有多少种方法，每次选取两个数，两个数的和是2的幂次 题解：10的30次大约是2的100次，所以先预处理2的102次，然后就是每次输入一个大数，枚举2的幂次去减它，然后去map里找有多少个解，其实是[详细]
-
【实战】C语言实现大数乘法
所属栏目：[大数据] 日期：2021-03-17 热度：183
我们回忆一下，在我们小时候刚接触多位数的乘法，我们的数学老师会教给我们一个方法，那就是“乘法的竖式计算”。在这里我们就采用该思想解决大数乘法的问题。 以下是我们经常进行乘法的竖式运算： 根据以上的竖式运算，我们实现过程总结如下： 先使用两个字[详细]
-
BI cube的前世今生：商业智能BI为什么需要cube技术
所属栏目：[大数据] 日期：2021-03-15 热度：196
企业中常常会出现这样一幕幕尴尬的场景： 企业的决策人员需要从不同的角度来审视业务，协助他们分析业务，例如分析销售数据，可能会综合时间周期、产品类别、地理分布、客户群类等多种因素来考量。 IT 人员在每一个分析角度上都建了一张报表。然而，决策人员[详细]
-
一共81个，开源大数据处理工具汇总（上）
所属栏目：[大数据] 日期：2021-03-15 热度：65
作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类，并且附上了官网和部分下载链接，希望能给做大数据的朋友做个参考。下面是第一[详细]
-
一共81个，开源大数据处理工具汇总（下），包括日志收集系统/集
所属栏目：[大数据] 日期：2021-03-15 热度：168
作者：大数据女神-诺蓝（微信公号：dashujunvshen）。本文是36大数据专稿，转载必须标明来源36大数据。 接上一部分：一共81个，开源大数据处理工具汇总（上），第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设[详细]
-
DeepLearning: 数据处理5:将caffe训练时屏幕输出可视化（matlab
所属栏目：[大数据] 日期：2021-03-15 热度：59
说明：必须再前一篇博文的基础上使用本文中的代码。先将屏幕输出保存到文本中，然后在使用本文中的代码。。。同样，这里只是我的环境下调通的，根据个人，适当调整代码就行了。。。都是重复造轮子，没啥技术含量。。。 % 根据caffe输出文档，作出accuracy,lo[详细]
-
大数据处理的一些总结和应用（有关舆情监控）
所属栏目：[大数据] 日期：2021-03-15 热度：65
? ? 说到大数据处理可能大家都不会陌生，这是近年来非常火热的话题，各行各业都想借助大数据为自己助力，有了这个工具，就好像在飞机上看农田一般清晰，一目了然，也也就是业内人士常说的大数据提供了一个------上帝视角 大数据的概念： 1、指的是所涉及的资[详细]
-
[BZOJ3110][Zjoi2013]K大数查询（主席数套线段树 ）
所属栏目：[大数据] 日期：2021-03-15 热度：95
题目描述 传送门 题解 外层权值线段树，权值线段树的每一个位置都是一棵线段树，线段树用动态开点。 注意pushdown或者查询的时候还有可能要继续开点。 注意最顶端的点的权有可能是炸了int了，因为有可能加入了50000^2个点。 代码 #includealgorithm#includei[详细]
-
余弦相似性：找出相似文章
所属栏目：[大数据] 日期：2021-03-15 热度：104
上一次，我用TF-IDF算法自动提取关键词。 今天，我们再来研究另一个相关的问题。有些时候，除了找到关键词，我们还希望找到与原文章相似的其他文章。比如，"Google新闻"在主新闻下方，还提供多条相似的新闻。 为了找出相似的文章，需要用到"余弦相似性"（cos[详细]
-
bzoj 3110: [Zjoi2013]K大数查询（树套树，整体二分）
所属栏目：[大数据] 日期：2021-03-15 热度：164
3110: [Zjoi2013]K大数查询 Time Limit:? 20 Sec?? Memory Limit:? 512 MB Submit:? 4020?? Solved:? 1547 [ Submit][ Status][ Discuss] Description 有N个位置，M个操作。操作有两种，每次操作如果是1 a b c的形式表示在第a个位置到第b个位置，每个位置加[详细]
-
数据流和批量大数据分析技术 Apache Apex 提升为 Apache 顶级项
所属栏目：[大数据] 日期：2021-03-15 热度：87
数据流和批量大数据分析技术Apache Apex近日被Apache软件基金会提升为顶级项目。这项技术已被包括第一资本（Capital One）和通用电气（GE）在内的企业组织使用，可以帮助开发人员更快速地创建充分利用实时数据的应用程序。 Apache Spark日益受到关注，表明了[详细]
-
大数加法运算
所属栏目：[大数据] 日期：2021-03-15 热度：65
void add(char a[],char b[]){/*********************装换*********************/int num1[LEN];int num2[LEN];for (int i = 0; i LEN; i++){num1[i] = 0;num2[i] = 0;}int lena = strlen(a);int lenb = strlen(b);for (int i = lena - 1,j = 0; i = 0; i--)[详细]
-
推荐系统技术之文本相似性计算（三）
所属栏目：[大数据] 日期：2021-03-13 热度：87
今天这篇也比较长，但中间有部分是代码，7，8，9最后三节的信息我认为较为有用。 前面说了两篇了，推荐系统技术之文本相似性计算（一）和推荐系统技术 --- 文本相似性计算（二）分别介绍了 TFIDF 和向量空间的相关东西，然后介绍了 主题模型 ，这一篇我们就[详细]
-
趣图：论修电脑和当医生的相似性
所属栏目：[大数据] 日期：2021-03-13 热度：102
（点击 上方公众号 ，可快速关注） 既然喝水这么重要，今天来送个福利 ↓↓↓ 据路边社报道，水杯离你越近，喝水的频率将会越高。 借今天的趣图，来团一款方便携带的随手水杯。emoi 品牌，环保，外观设计简洁大方，手感也很不错。密封防漏做的好，可随身携带[详细]
-
[生产库实战] 如何合理的使用logmnr进行日志挖掘，并对生产库影
所属栏目：[大数据] 日期：2021-03-13 热度：181
Oracle Logmnr这个工具怎么用这里就不详细说，可以查看官方文档，网上的文档也一大堆，自己找吧。我这里就直接上干货了。 --创建Oracle目录 select * from dba_directories; create directory archivelog_dir as '/archivelog1/temp_archivelog/'; --grant r[详细]
-
基因数据处理44之cloud-scale-bwamem安装
所属栏目：[大数据] 日期：2021-03-13 热度：157
cloud-scale-bwamem是在spark等云环境上实现bwa-mem算法，加速对全基因组匹配的处理 1.下载： git clone https: //github.com/ytchen0323/cloud-scale-bwamem.git 2.编译： mvn clean package 3.编译成功： [INFO] ----------------------------------------[详细]
-
基因数据处理50之cs-bwamem、bwa、snap、bwa-mem与art比较
所属栏目：[大数据] 日期：2021-03-13 热度：59
直接看结果： （1）art仿真数据： hadoop @Master :~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem $ cat G38L100c50Nhs20 .aln ##ART_Illumina read_length 100 @CM art_illumina -ss HS20 -i GRCH38chr1L3556522 .fna -l 100 -c 50 -o G38L100c50Nhs20 -rs 1[详细]
-
基因数据处理45之cloud-scale-bwamem安装（compile.pl安装有问题
所属栏目：[大数据] 日期：2021-03-13 热度：67
脚本： hadoop @Master :~/xubo/tools/cloud-scale-bwamem $ cat compile.pl #! /usr/bin/perl system "mvn clean package" ;chdir "./src" ;system "mvn package -PotherOutputDir" ;chdir "./main/jni_fpga" ;system "mvn package -PotherOutputDir" ;chdi[详细]
-
基因数据处理47之ART基因序列数据生成器（仿真）
所属栏目：[大数据] 日期：2021-03-13 热度：163
1.概念： ART基因序列数据生成器 详细请见论文：【1】 和官网【2】 2.下载： ART-bin-GreatSmokyMountains-04.17.16-Linux64.tgz http://www.niehs.nih.gov/research/resources/assets/docs/artbingreatsmokymountains041716linux64tgz.tgz 3.配置 sudo cp到[详细]
-
基因数据处理49之cloud-scale-bwamem运行成功
所属栏目：[大数据] 日期：2021-03-13 热度：99
1.先使用art生成数据： 请看前一篇 2.上传fastq到hdfs： hadoop @Master :~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem $ spark-submit -- class cs . ucla . edu . bwaspark . BWAMEMSpark -- master local [2] / home / hadoop / xubo / tools / cloud - s[详细]
-
基因数据处理48之ART使用实例
所属栏目：[大数据] 日期：2021-03-13 热度：143
相关参数请见上一篇 1.使用实例1： hadoop @Master :~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem $ art_illumina -ss HS20 -i GRCH38chr1L3556522 .fna -l 100 -f 20 -o G38L100F20Nhs20 ==================== ART ==================== ART_Illumina ( 200[详细]
-
求0至大数之间的随机数
所属栏目：[大数据] 日期：2021-03-13 热度：187
题目：给定一个String类型的大数(非负整数)，不能直接转化为Integer，类似如下要求 The numbers can be arbitrarily large and are non-negative. Converting the input string to integer is? NOT ?allowed. You should? NOT ?use internal library such as[详细]
-
??攻略｜13招神技 让你在数据科学和数据分析工作中脱颖而出
所属栏目：[大数据] 日期：2021-03-11 热度：161
简介：我有幸在很早参与了一个大数据科学项目，我非常喜欢其中的工作，甚至我意识到我的努力可以增加一些公司的价值。 然而，可悲的是，只有不到30%的数据科学项目最终实施了。我备受打击的意识到我的努力被浪费了。但是，我不是唯一的一个。几乎，每一个分[详细]
-
基因数据处理46之cloud-scale-bwamem安装（compile.pl安装没问题
所属栏目：[大数据] 日期：2021-03-11 热度：79
版本：https://github.com/ytchen0323/cloud-scale-bwamem/releases/tag/v0.2.1 1.需要设置spark路径： !--systemPath/cluster/spark/spark-1.3.1-bin-hadoop2.4/lib/spark-assembly-1.3.1-hadoop2.4.0.jar/systemPath -- systemPath /home/hadoop/cloud/spa[详细]
-
基因数据处理51之cs-bwamem集群版运行*
所属栏目：[大数据] 日期：2021-03-11 热度：68
将master的local改为集群就可以了。 集群运行结果： 问题： 匹配50条的时候，bwa和snap都是生成50条。但是cs-bwamem会生成492条，其中25和50条重读的很多，匹配位置不同。不知道为啥？ 记录： D: 1 win7javajdkbinjava -Didea.launcher.port= 7538 "-Di[详细]
