在一台服务器上,如果启动了一个TF-Serving服务,我们知道它占了资源,却不知道它是在空跑还是真的在用。
本文描述了怎样判断它是否真的在用。
Linux
[原创] 解决IntelliJ idea启动崩溃:error occurred during error reporting (), id 0x6, SIGABRT (0x6) at pc=...
有时候,一个用了好久、一直好用的方法突然失灵,并且还折腾了几天,真的会逼疯人。
前几天我就遇到了这种破事:在Ubuntu开发机上自己升级IntelliJ idea到最新版之后,就无法再启动它。
启动时永远会崩溃,无论是重启系统、删除IntelliJ idea的本地缓存,或者使用回旧版,都无法再启动它(仿佛什么文件被"污染"了,再也回不去了),十分烦人。经过几天各种方法的尝试,终于解决了问题,我的解决办法不具有普适性,但如果你遇到了此类问题,或许可以为你提供一些解决思路。
如何查看指定的Hadoop(HDFS)目录的配额
Hadoop目录的配额是指为了限制一个HDFS文件夹中所包含的数据块和名称空间元素(如子文件夹和文件)的数量而设置的最大值。简单来说,就是对一个文件夹中可存储数据的上限进行管理和控制,以便于维护整个系统的健康和性能。
通过设置适当的配额,管理员可以确保每个目录不会超出其可承受的容量范围,防止集群资源被长时间占用或滥用。同时也可以通过监视使用情况来优化系统性能并减少故障风险。
[原创] 如何下载HLS流视频文件
在互联网上,有些视频以HLS流的形式呈现,当你用一些工具捕获到它的播放地址时,会发现是一个以 .m3u8 结尾的URL。
那么,什么是 HLS 和 m3u8 呢?
HLS(HTTP Live Streaming)是一种基于HTTP协议的流媒体传输协议,而M3U8则是一种基于文本的播放列表文件格式。在HLS中,媒体数据被划分成多个小文件进行传输,并使用M3U8文件作为索引来指向这些媒体数据文件。M3U8文件包含了所有的媒体数据文件的URL地址及其相关信息,如码率、分辨率、编码格式等。因此,当一个客户端请求播放一个HLS流时,它将下载对应的M3U8索引文件,并且根据其中包含的地址去下载其他的媒体数据文件。简单来说,HLS和M3U8是两个不同但紧密相连的概念,其中M3U8作为HLS协议中索引与定位资源的重要组成部分。
问题来了:如何下载HLS流视频文件呢?
[原创] 设置Emacs打开一个文件时的"文件太大"警告阈值
File xxx is large (XXXMB), really open? (y or n)
[原创] 用JAVA程序读取本地的Hadoop sequence file
[原创] 通过第三方工具/JAVA程序访问S3存储
S3是亚马逊2006年推出的简单存储服务(Simple Storage Service),理论上是一个全球存储区域网络,你可以把它想像成一个超大的硬盘,可以在其中存储和检索数字资产,通过 S3 存储和检索的资产被称为对象,对象存储在存储段(bucket)中。
很多公司都推出了自己的对象存储服务,例如阿里云对象存储服务OSS,可以使用S3 API进行访问。
[原创] 用Charles Proxy来抓包Chrome浏览器的数据
查看Charles Proxy文章合集,请点击这里。
本文适用的操作系统:Ubuntu
Charles Proxy是一个HTTP代理/HTTP监视器/反向代理,它使开发人员能够查看其计算机和Internet之间的所有HTTP和SSL/HTTPS流量。这包括请求、响应和HTTP headers(其中包含cookie和缓存信息)。
在Chrome浏览器中把代理服务器设置成Charles Proxy在本地提供的代理,可以让Charles Proxy把Chrome的网络流量抓取下来。
配置方法如下。
[原创] 使用Selenium Wire访问网站时提示"您与此网站之间建立的连接不安全"的解决办法
[原创] 扩展VirtualBox虚拟机的磁盘空间(vdi文件)
宿主机:Ubuntu 16.04 LTS
虚拟机:Windows 10
VirtualBox虚拟机文件有很多种格式,我的是vdi格式,对应的磁盘空间是37GB(Win10系统里只有一个C盘),由于虚拟机里的空间不够用了,想把它扩展成45GB,并且在数据不丢失的情况下仍然保持“只有一个C盘”的状态。
下面是操作方法。
[原创] ssh连接Linux服务器时提示"Too many authentication failures"的解决办法
Received disconnect from xxx.xxx.xxx.xxx port 22:2: Too many authentication failuresDisconnected from xxx.xxx.xxx.xxx port 22
在发起连接的机器(记为A)的 ~/.ssh 目录下放了太多密钥文件,当你连接一台新的服务器并且没有在 ~/.ssh/config 文件中做过特殊的配置时,默认会挨个尝试所有密钥文件,而这些密钥文件,都不是适配那台新服务器的,所以会连接失败。
[原创] 使用Apache DataFu中的Coalesce()简化Apache Pig的三元运算符
查看更多Apache Pig的教程请点击这里。
来看这个例子。有数据文件 1.txt,内容为:
a[\t][\t]c[\t]f[\t]gh[\t]k[\t]
[\t][\t][\t]
在Pig命令行交互模式下加载这个文件,并把其中为空(NULL)的列替换成一些数字:
A = LOAD '1.txt' AS (col1: chararray, col2: chararray, col3: chararray);
B = FOREACH A GENERATE (col1 IS NOT NULL ? col1 : '1') AS col1, (col2 IS NOT NULL ? col2 : '2') AS col2, (col3 IS NOT NULL ? col3 : '3') AS col3;
DUMP B;
输出:
(a,2,c)(1,f,g)(h,k,3)(1,2,3)
代码非常简单:如果第一列col1为空则替换为1,如果第二列为空则替换为2,如果第三列为空则替换为3。
这里使用了三元运算符 ? : 来做这个判断,写法非常丑陋。