转的一篇文章, 写hadoop生态圈的各种东西的..之前看一只没看懂, 最近在翻了一遍, 发现了解的清楚多了.

正文

大数据本身是个很宽泛的概念，Hadoop 生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。

下面是笔记, 慢慢补充 免得忘记了

Numpy 简介

Numpy（Numerical Python 的简称）是高性能科学计算和数据分析的基础包。其部分功能如下：
①ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。
②用于对整组数据进行快速运算的标准数学函数（无需编写循环）。
③用于读写磁盘数据的工具以及用于操作内存映射文件的工具。
④线性代数、随机数生成以及傅里叶变换功能。
⑤用于集成由 C、C++、Fortran 等语言编写的代码的工具。
创建数组
创建数组最简单的办法是使用 array 函数。它接受一切序列型的对象（包括其他数组），然后产生一个新的含有传入数据的 NumPy 数组。以一个列表的转换为例：

…(我是标题)

今天网球老师让我们打比赛, 10人分为A,B两个小组, 对打, 相当于每个人都和对方5个人都来一轮, 5轮3胜出线, 采用的规则如下

Mxnet

看了一下mxnet,感觉比keras好用些.下面继续用mnist写了个相当于hello-world…

4-30到5-02日这三天没有发东西- -忙着做华中赛去了, 这次比赛算是间隔一年再次捡起数模吧, 去年的这个时候感觉题目和今天的类似,都是大数据处理的,不同的是去年对这方面完全没有头绪, 今年还算是勉勉强强做了出来吧.只是最后的结果发现可能有有点问题, 算是一个教训吧, 在正式参赛的时候还是要多考虑一下多方面的东西, 感觉自己对比赛的时间掌控还不是很好, 在加上队友的沟通可能也不是太好.

今天看了一下skimage这个库, 感觉比自带的PIL库好用些, 下面写了一点trivial的例子,

一开始想要把图片转成灰色的, 找了半天没有找到rgb2gray…

然后google了一下 发现skimage 的color里面有这个函数..不过里面的参数貌似和matlab不一样, 不过效果感觉差不多

然后测试了一下

from skimage import data, color
import matplotlib.pyplot as plt
cat = data.chelsea()
plt.imshow(color.rgb2gray(cat))
plt.show()

结果迷之图像…

最近看到YELP的电面有问到字符串的一道题, 搜了一下 发现了 TRIE 字典树, 学一下~

Implement a trie with insert, search, and startsWith methods.
Note:
You may assume that all inputs are consist of lowercase letters a-z.

Trie树又被称为字典树、前缀树，是一种用于快速检索的多叉树。Tried树可以利用字符串的公共前缀来节省存储空间。
但如果系统存在大量没有公共前缀的字符串，相应的Trie树将非常消耗内存。（下图为Wiki上的Trie树示意图， Wiki）

笔记来自这篇 文章, 主要讲了l0, l1, l2核范数的理解

loss function

对与parametrical模型, 如果是square loss 那就是最小二乘法, 如果是Hinge loss那就是SVM, 如果是EXP-LOSS, 那就是boosting, 如果是log-loss, 那就是logistic回归

希望有生之年, 能够窥见这广阔无垠的星空.

什么叫视觉Vision？

什么叫视觉？可能这个问题的第一反应就是：不就是看东西么。好吧，那么高大上的问题就被这么轻描淡写了。看东西不是目的，目的是看到后知道是个什么东西，然后基于这种物体与事件的联系服务于高层意识理解。哈哈，瞬间档次又拉上去了。个人浅见，目前大体视觉可以分为生物视觉和机器视觉。生物视觉就是有眼睛的动物能什么看东西的。例如喵星人、汪星人还有地球人啥的。每种动物的视觉感官不同，能感受的光波长也不同。我们如果可以知道它们是怎么工作了，就可以借鉴着做出具有类似强大功能的设备了。这其中涉及到的东西有很多，它们的视觉流是怎样的？包含怎么接受光信号的输入，到如何逐级的提取信息，再到高层的推理，还有高层到底层的反馈等等。有的已经被解密了，有的还犹抱琵琶半遮面，也的神秘依旧。遗憾的是，后者的比重更大。

def qsort(lst):return [] if not lst else qsort([i for i in lst[1:] if i < lst[0]]) + [lst[0]] + qsort([i for i in lst[1:] if i > lst[0]])