How install Tensorflow on Ubuntu 16.04

Step 1: Install Python 3

Update your repository list first:

apt-get update

Then, install Python 3, Python 3 have better performance than Python 2:

apt-get install python3-pip python3-dev python-virtualenv

Step 2: Setup Python 3 env for tensorflow

Setup a separated env for tensorflow

virtualenv --system-site-packages -p python3 ~/tensorflow

source ~/tensorflow/bin/activate

Update pip first to make sure pip >= 8.1

pip install --upgrade pip

Step 3: Confirming the installation of tensorflow

Install tensorflow without GPU version:

pip install --upgrade tensorflow

Step 4: Confirming the installation of tensorflow

Create a example python to test

vi /tmp/tf-example.py

Enter code as following ：

import tensorflow as tf
hello = tf.constant('Hello, Tensorflow!')
print(tf.Session().run(hello))

Run it :

source ~/tensorflow/bin/activate
python /tmp/tf-example.py

You will now see a output like:

b'Hello, Tensorflow!'

Congrats! You have now installed Tensorflow!.

Nov 22, 2017 • Share / Permalink

“something:”

• TF
• CNN
• GPU

Nov 11, 2017 • Share / Permalink

74HC595是一个寄存器，他能够将串行的输入累积成一次并行的输出。要做的测试就是通过一个输入pin来控制多个输出pin的状态。

pin14就是接收arduino主板串行的输入，比如：

pin14输入1，且bitorder设置为MSBFIRST，则Q0输出为1，Q1  - Q7都输出为0

pin14输入3，且bitorder设置为MSBFIRST，则Q0、Q1输出为1，Q2  - Q7都输出为0

pin14输入255，且bitorder设置为MSBFIRST，Q0  - Q7都输出为0

Mar 5, 2013 • Share / Permalink

其实联通网站上的累计通话时间和实际计费的时间差不多。

如果要准确的统计，那得依赖些脚本了。

从联通的网站上面把通话记录复制出来，放到一个文件中，如 /tmp/x 然后保存以下代码到一个shell文件calllog.sh。
然后执行 cat /tmp/x | bash calllog.sh，最后就可以看到通话时间了。

awk '$4 != "被叫" && $5 != "10010"{
print $0;
pos1 = index($3, "分");
pos2 = index($3, "秒");
min=0
if (pos1 > 0) {
min = substr($3, 1, pos1-1);
# print "min:" min;
}
if (pos2 > 0) {
min = min + 1;
}

print "tmin:", min;
total += min;
}
END {
print "total:", total;
}
'


Jan 24, 2013 • Share / Permalink

1 CURLOPT_POSTFIELDS中的玄机

curl_setop($ch, CURLOPT_POSTFIELDS, $var); 但不知道内有玄机，php的doc里面有这么一段话。

If value is an array, the Content-Type header will be set to multipart/form-data.

要知道一般POST时，会以application/x-www-form-urlencoded 的 Content-Type POST。而 multipart/form-data 一般用于上传文件。

关于两者的区别，不想读rfc的可以先看看 http://stackoverflow.com/questions/4007969/application-x-www-form-urlencoded-or-multipart-form-data

两种情形下POST样例：

application/x-www-form-urlencoded 形式的POST

POST / HTTP/1.1
Host: 192.168.201.197
Accept: */*
Accept-Encoding: gzip
Content-Length: 8
Content-Type: application/x-www-form-urlencoded

url=xxxx

multipart/form-data 格式的POST：

POST / HTTP/1.1
Host: 192.168.201.197
Accept: */*
Accept-Encoding: gzip
Content-Length: 153
Content-Type: multipart/form-data; boundary=----------------------------e62c3de4a033

Content-Disposition: form-data; name="url"

xxx

2 curl中PUT文件

现在都流行RESTful的接口，很多接口要求客户端PUT方式上传文件。在php中，使用curl发起PUT的请求，有两种方法：

curl_setopt($ch, CURLOPT_PUT, 1);
或者
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'PUT');

当你想使用PUT上传文件时，请不要使用第二种，因为它不会上传文件。

Dec 2, 2012 • Share / Permalink

工作上经常碰到环境变量不对，bash运行行为和自己期望的不一致，于是想花点时间看看bash.

说起来，这件事情应该再简单不过了，看看bash手册上写的便是了.

http://www.gnu.org/software/bash/manual/bashref.html#Bash-Startup-Files

但是坦白来说，我花了很长时间才看明白了一点.

看到的一些结论
如果是login的shell，那么bash在运行先执行 /etc/profile ；然后依次查找 ~/.bash_profile, ~/.bash_login, ~/.profile；如果找到其中一个文件就执行之，后面的就不执行了.

如果是interactive的非login shell，则先会执行 /etc/bash.bashrc，如果~/.bashrc存在的话，接着执行~/.bashrc.

如果是非interactive的，且非login shell，则执行 $BASH_ENV 对应的shell.

ssh到远端的机器，远端机器上的bash会执行什么呢？如果是login shell，不用说，和第1种一样；如果是ssh remote-machine 'cmd'这种的（也就是我们一般shell脚本里面调用形式），则会执行~/.bashrc（远端机器上的bash在编译bash的时候define了SSH_SOURCE_BASHRC ）.

有些问题
什么是interactive shell，什么是login shell

interactive shell就是顾名思义，有用户交互的，检查方法就是在命令行下执行 echo $-，如果有i这个选项，则就是interactive shell 了.

login shell简单来说就是bash启动的时候加了 -l选项.

举几个实际的例子：

interactive & login shell:

linux登录到真实的终端tty1

interactive & non-login shell:

打开终端模拟器，在终端模拟器里面执行/bin/bash -i cmdfile

non-interactive & login shell

在终端模拟器里面执行/bin/bash -l cmdfile

non-interactive & non-login shell:

在终端模拟器里面执行/bin/bash cmdfile

为什么我在手动在机器上可以ssh到远端机器的，但是在shell脚本里面不行？

这种情形出现在ssh到远端机器的private key是有passphase 的，简单来说，ssh 到远端机器的时候，你还需要输入这个pass phase的，那为什么你一般ssh到远端机器的时候不要输入passphase呢，这个就是ssh-agent的功劳了，ssh通过环境变量中的SSH_AUTH_SOCK和SSH_AGENT_PID获得真实的private key。

简单来说，因为这个时候有了SSH相关环境变量。这些环境变量一般在通过keychain设置的，而keychain一般是startup脚本里面执行的。 解决办法就是bash -l.

骗人吧，按你的说法，ssh过去要执行~/.bashrc的，但是我~/.bashrc里面的命令没有执行

应该.bashrc里面有一段话，[ -z "$PS1" ] && return 也就是说，如果是非interactive的时候，PS1不会被设置，然后就return了，后面的命令当然没有执行.

interactive & login 的shell怎么也执行 ~/.bashrc 了？

看看 ~/.bash_profile, ~/.bash_login, ~/.profile 这几个文件中，应该有写

if [ -f "$HOME/.bashrc" ]; then
. "$HOME/.bashrc"
fi
ssh remote-machine 'cmd' 为什么不行啊？

一样的道理，PATH环境变量不是在 ~/.bashrc里面设置的.

ssh remote-mache 'cmd' 的时候不执行~/.bashrc啊？

编译bash的时候没有define SSH_SOURCE_BASHRC.

我的cmdfile在shebang部分里面已经声明了#!/bin/bash -l 了，但是它表现的不是login shell

不要使用 /bin/bash cmdfile 这种方式运行，要么使用cmdfile直接运行，要么使用/bin/bash -l cmdfile运行.

Dec 1, 2012 • Share / Permalink

最近一直使用hadoop hive做数据分析，遇到一些问题，也收获一些，记一下。

一些经验和大家分享：

1 使用external table会比较方便管理，将数据放到hdfs中，然后再基于hdfs建external表，这样你可以随心所欲的管理你的数据，可以使用hive的external table来查询，也可以自己直接写mapreduce job来处理；使用external table的另外一个好处是可以随便改变table的schema，因为在drop table时数据不会丢失；只是删除元信息，所以，如果schema需要调整，删掉重新建就是了。

2 能使用hql做的事情还是用hql吧，写mapreduce毕竟麻烦，数据调试是个问题。

3 hql和sql还是有些地方不一样的，比如group by的时候不能用column的alias，详情可以参考我的这个回答。

4 hql里面的条件可以随便的使用like '%%' 了，因为基本上所有的hql都会转换成mapreduce job，所以，你使用like '%%'只是在map的时候稍微多了点计算量而已。

5 hwi玩玩还可以，但是无法真正用于生产环境：结果默认保存到内存中；输入的hql有错又不知道是什么错；跑一段时间会挂掉；界面极度难用等等，这些问题都是它被正式使用的障碍。

一些问题的解决方法：

hive报metadata错：

FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Unexpected exception caught.
NestedThrowables:
java.lang.reflect.InvocationTargetException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

解决方法：删掉 $HADOOP_HOME/build ，这种情况很有可能是大家的hadoop用的是src版本，然后编译出来有build，具体为什么会因此报错，还不得而知。

hadoop datanode无法启动：

这个主要是mac os上会遇到，在$HADOOP_HOME/logs/*datanode*out 中看日志，会发现有：

Unable to load realm info from SCDynamicStore

在$HADOOP_HOME/conf/hadoop-env.sh 中设置一下HADOOP_OPTS即可

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

hwi无法启动：

在$HIVE_HOME/conf/hdfs-site.xml中加入

<property>
    <name>hive.hwi.war.file</name>
    <value>/lib/hive-hwi-0.8.1.war</value>
    <description>注意上面的地，war换成你自己的包文件名称</description>
</property>

Nov 24, 2012 • Share / Permalink

最近在捣鼓hadoop相关东东，部门里面需要总结一个hadoop相关的trails，方便后面freshmen加入时可以参考。写了写，可能不对，供新手参考。自己也还是一个新手啊。

hadoop还是很多值得学习的地方，hadoop建立者Dogg Cutting 也是lucene的作者，现在又是ASF的主席。

Nov 24, 2012 • Share / Permalink

最近需要查看搜索执行代码的情况，故需要在eclipse中调试solr，网上出名那篇来自lucid的《setting up apache solr in eclipse》，但个人觉得不是很方便。

自己看了一下，可以使用以下方法：

1 下载solr的src包，并解压

2 解压后，在解压后的根目录执行ant eclipse，即生成eclipse需要的项目文件

打开eclipse，File > Import > Existing Projects into Workspace

选择刚才解压后的根目录，这时候java build path等都已经设置好了。

3 Open Type找到StartSolrJetty 这个类，修改main方法里面的setPort参数为默认的8983，以及ContextPath,War

War为"solr/webapp/web/"

最后的代码应该是这样的：

Server server = new Server();

SocketConnector connector = new SocketConnector();

// Set some timeout options to make debugging easier.

connector.setMaxIdleTime(1000 * 60 * 60);

connector.setSoLingerTime(-1);

connector.setPort(8983);

server.setConnectors(new Connector[] { connector });

WebAppContext bb = new WebAppContext();

bb.setServer(server);

bb.setContextPath("/solr");

bb.setWar("solr/webapp/web");

4 设置solr.solr.home，并run

在run configure中Arguments > VM arguments中写入

-Dsolr.solr.home=solr/example/solr

使用solr自带的一个example作为sold配置的根目录，如果你有其他的solr配置目录，设置之即可。

点击run即可，debug也是一样可以用了。

Jun 10, 2012 • Share / Permalink

很早以前记的，放在草稿箱里，没有发出来，现发出来，因为是笔记，所以看起来可能比较乱。

swfupload是上传大文件、显示上传进度以及一次上传多个文件的很好选择。但由于其采用了flash做为上传的客户端，带来了以下问题：

• cookie无法和浏览器共享：如果你限制用户登录了后才能上传，那么，用户在浏览器里的cookie你要通过post的形式传过去。
• 跨域问题：若swfupload所用的swf文件和上传处理段不在同一域名，便有此跨域问题，解决倒也简单，在上传处理端加个crossdomain.xml即可。

crossdomain.xml示例：

<?xml version="1.0" encoding="utf-8"?>
<!DOCTYPE cross-domain-policy SYSTEM "http://www.adobe.com/xml/dtds/cross-domain-policy.dtd">
<cross-domain-policy>
    <site-control permitted-cross-domain-policies="all"/>
    <allow-access-from domain="*.swfuploadfile.com" />
    <allow-http-request-headers-from domain="*" headers="*" />
</cross-domain-policy>

更让人头疼的是报2038错误（error=-200 message=#2038），这个错误实在折腾人啊。

先看看adobe官网是怎么说的：

http://help.adobe.com/en_US/FlashPlatform/reference/actionscript/3/flash/net/FileReference.html?filter_flash=cs5&filter_flashplayer=10.2&filter_air=2.6
里面讲到了ioerror出现的可能

• An input/output error occurs while the player is reading, writing, or transmitting the file.
• The SWF file tries to upload a file to a server that requires authentication (such as a user name and password). During upload, Flash Player or Adobe AIR does not provide a means for users to enter passwords. If a SWF file tries to upload a file to a server that requires authentication, the upload fails.
• The SWF file tries to download a file from a server that requires authentication, within the stand-alone or external player. During download, the stand-alone and external players do not provide a means for users to enter passwords. If a SWF file in these players tries to download a file from a server that requires authentication, the download fails. File download can succeed only in the ActiveX control, browser plug-in players, and the Adobe AIR runtime.
• The value passed to the url parameter in the upload() method contains an invalid protocol. Valid protocols are HTTP and HTTPS.

http://help.adobe.com/en_US/FlashPlatform/reference/actionscript/3/runtimeErrors.html

• 2038 File I/O Error.This error occurs when an application can't get file size, creation date or modification data using the FileReference API.

大概意思就是没有办法获得文件信息，另外一方面是由于上传接口需要http验证，无法输入用户名和密码无法所致。

那么先检查一下上传接口是否有上述问题（使用最原始的上传方式检查），如果上传接口正常，那么需要想想是不是客户端的问题了。有用户说杀毒软件会禁止flash上传，这个我没有实际的验证，但的确遇到过在同一swfupload系统，在有些客户端报2038错，而在其他的地方正常。

若所有的客户端都出现此问题，那么还是有可能上传接口的问题，我就碰到一例：

情况如下：

• 上传接口前面有一nginx做转发，且这个nginx距离实际处理上传文件的app服务器还有一段距离。
• 上传小文件正常，上传大文件会报2038 io error。
• 若不使用nginx转发，flash直接往app服务器上传文件，大文件也正常上传。

去检查nginx的log

cat nginx.log  | grep Flash | awk '$12 == 413 {print $0}'

发现nginx的响应状态是499，而非正常的200。

怀疑nginx转发有问题，在客户端上传的同时，在nginx服务器上抓包看看：

sudo tcpdump  -vvv -n -A host upload-app and port 80

发现nginx转发的request的post数据不全，同时upload-app服务器上给出的响应是 400 bad request。

至此，初步将原因定为flash player主动断开连接，因为本地的nginx log里面是499，关于499，http协议rfc2616中没有定义，通过相关资料查询可得，499为客户端（flash player）主动断开连接。关于nginx的499可以参考以下文章：

• http://forum.nginx.org/read.php?2,213789,213789
• http://www.ruby-forum.com/topic/137312

为什么flash会主动断开连接？我也不知。

Mar 4, 2012 • Share / Permalink