原创

[原创] tf.tile() 用法举例(TensorFlow)

作者

tile 的含义：

n. 瓦 / 瓷砖 / 软木片 / 亚麻油地毡片
v. 用瓦盖 / 贴砖于 / 铺以瓦 / 铺以瓷砖

函数定义：

def tile(input, multiples, name=None):

函数功能：

Constructs a tensor by tiling a given tensor.

即：通过“平铺”一个给定的 tensor 来构造一个新的 tensor。用人话讲就是：把输入的 tensor，在指定的维度上复制N遍（就像铺瓷砖一样），来创建出一个新的 tensor。
3个参数：
input：输入的tensor
multiples：在指定的维度上复制原tensor的次数
name：operation的名字

阅读更多

[原创] 如何减少map-only的Pig job的输出文件数

作者

查看更多Apache Pig的教程请点击这里。

如果一个Pig job是map-only的job，并且其输入文件数很多的话，那么输出的文件数也会同样多，此时，如果每个文件大小又比较小的话，长久下去就会对Haodoop NameNode造成很大压力。我们可以通过给Pig job添加一个reduce过程来减少输出文件数。

阅读更多

[原创] Apache Pig问题：Encountered IOException. org.apache.pig.tools.parameters.ParseException: Encountered ""

作者

查看更多Apache Pig的教程请点击这里。

运行Pig脚本时报错：

Error before Pig is launched
----------------------------
ERROR 2997: Encountered IOException. org.apache.pig.tools.parameters.ParseException: Encountered "<EOF>" at line 1, column 8.
Was expecting one of:
    <IDENTIFIER> ...
    <OTHER> ...
    <LITERAL> ...
    <SHELLCMD> ...
java.io.IOException: org.apache.pig.tools.parameters.ParseException: Encountered "<EOF>" at line 1, column 8.
Was expecting one of:
    <IDENTIFIER> ...
    <OTHER> ...
    <LITERAL> ...
    <SHELLCMD> ...

        at org.apache.pig.impl.PigContext.doParamSubstitution(PigContext.java:408)
        at org.apache.pig.Main.runParamPreprocessor(Main.java:783)
        at org.apache.pig.Main.run(Main.java:446)
        at org.apache.pig.Main.main(Main.java:158)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:497)
        at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: org.apache.pig.tools.parameters.ParseException: Encountered "<EOF>" at line 1, column 8.
文章来源：https://www.codelast.com/
这个问题有可能有多种原因，比如某行漏写了语句结尾的分号。这里我遇到的是另一个原因：调用该Pig脚本的shell脚本，用 -p "xxx=$X" 这种形式传参时，参数为空，修正参数为空的问题即可解决。

阅读更多

[原创] 重要性采样／Importance Sampling

作者

查看本系列文章合集，请点击这里。

在前面的文章中，我们看到，随机采样是一个蒙特卡罗方法中很关键的步骤。而采样是需要技巧的，单纯地增加采样次数太没有效率了，比如说，如果随机采样一亿次，你可以把结果计算得特别精确，但是采样一亿次需要的时间非常长，长得远远超过了我们能接受的范围，这又有什么意义呢？
人们发现，有一些方法可以让随机采的样本“特别好”。那么什么算“特别好”呢？比如说，本来使用没有任何原则的采样方法，需要采样1万个点，才能让计算出来的结果很接近真实值；现在使用一个“特别好”的采样方法，可以让我们只需要采样100个点，就可以让计算出来的结果很接近真实值了，这样就极大地减少了计算量。

阅读更多

[原创] 蒙特卡罗算法 对比 拉斯维加斯算法

作者

查看本系列文章合集，请点击这里。

  • 区别

讲到这里，稍微提一下，随机算法可以分为两类：蒙特卡洛算法 & 拉斯维加斯算法。
对蒙特卡洛算法来说，采样越多，越近似最优解。
对拉斯维加斯算法来说，它永远给出正确解的随机化算法，总是给出正确结果，或是返回失败。

阅读更多

[原创] 蒙特卡罗方法的实例2：计算定积分

作者

查看本系列文章合集，请点击这里。

为了对蒙特卡罗方法有一个直观的印象，本文再举一个实例（计算定积分），以说明蒙特卡罗方法的用途。

  • 什么是定积分

对于一个给定的正实值函数 f(x) ，它在一个实数区间 [a,b]上的定积分 \int_a^b {f(x)dx} 可以理解为在 OXY 坐标平面上，由曲线 (x,f(x))、直线 x=a,x=b以及x轴围成的曲边梯形的面积值。

阅读更多

[原创] 蒙特卡罗方法的定义、历史以及存在意义

作者

查看本系列文章合集，请点击这里。

  • 定义

来自维基百科：

蒙特卡罗（洛）方法（Monte Carlo method），也称统计模拟方法，是1940年代中期由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数来解决很多计算问题的方法。

也就是说，蒙特卡罗方法并不是指一种特定的算法，而是一类算法的总称，这种算法主要利用了“随机”来实现。

阅读更多

[原创] 用人话解释蒙特卡罗方法/Monte Carlo method(文章合集)

作者

蒙特卡罗(洛)方法（Monte Carlo method），也称统计模拟方法，是1940年代中期由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数来解决很多计算问题的方法。

阅读更多

[原创] Flutter相关配置

作者

Flutter是什么？

Flutter是Google开源的移动应用程序SDK，一份代码可以同时生成iOS和Android两个高性能、高保真的应用程序。
Flutter目标是使开发人员能够交付在不同平台上都感觉自然流畅的高性能应用程序。我们兼容滚动行为、排版、图标等方面的差异。

在Ubuntu系统下，从零开始运行起来第一个Flutter程序不是那么容易的事情，有一些tricky的配置可能会浪费你很多时间。

阅读更多

[原创] 如何把一块硬盘上的Ubuntu系统完整复制到另一块硬盘上？

作者

最近我的Ubuntu台式机每隔两三天就会进入一种硬盘狂读+点击鼠标无反应的死机状态，由于SSD已经用了很多年，我非常担心它会随时挂掉，导致数据丢失的惨剧发生，于是我提前预防，买了块同品牌、同容量的SSD来替换它。但是从头开始重装系统+配置各种软件的过程实在太痛苦了，所以我决定做一次全盘复制，这样就能省去很多时间。

阅读更多

[原创] 如何用Jackson解析含有转义字符的JSON到Java对象？

作者

如果一个JSON字符串里有一个字段，它的值又是一个完整的JSON字符串，那么这时候，它可能会含有转义字符。举个例子，我们有一个文件  codelast.json，它的内容为一行字符串：

{"aaa":"{\"ccc\":\"ccc\",\"ddd\":\"ddd\"}","bbb":{"ccc":"ccc","ddd":"ddd"}}

现在要用Jackson解析它为一个Java对象，怎么做？

阅读更多