离线

相关搜索 --- 离线和在线的结合

前面说了相关搜索底层的算法逻辑,本篇会继续以相关搜索为例子介绍一下相关搜索的的在线部分架构和一种常规的算法类系统的工程化方式。0. 前面的话在说正题之前还是先来闲扯一下,都说产品经理的想象和最后工程师的实现之间差了十万八千里,同样的,算法的模型和最后的工程化部分也是差了十万八千里。看到一个好的算法的论文,一看卧槽这么牛逼,感觉能解决一切问题,于是想尽一切办法想要用到系统中,

spark 优化套路

spark整个api上手较为简单,scala表达起来比较顺畅,java根据spark官方文档,理解scala的几个特性即可。spark离线处理优化目的减少无效操作,io cpu的有效利用,直接查优化技巧,不如先搞明白spark处理过程。明白以下再对应代码可以解决很多问题。DAG图对应代码 明白过程stages tasks对应实现层shuff过程,如何减少shuff,必须sh

这份精美的线上付费杂志,是如何一步步走向死亡的?

纸媒的大船正在缓缓沉没,而数字化这艘救生艇只能搭载一小部分置身险境的乘客,《离线》——这家来自中国的科技文化杂志,成为从救生艇中摔下来的新成员。这本 2014 年 9 月才正式创刊、2016 年 4 月转型为线上付费的科技文化读物,在它休刊的这一天,并没有得到类似《大众软件》杂志寿终正寝时那般刷屏级别的缅怀,与后者曾今寄托过一代人的电子网络回忆不同,《离线》最终清盘结算时,

地铁扫码乘车的产品逻辑

近一年来我国多个城市的地铁开通了扫码乘车功能,国内最早开通地铁的城市北京于4月29日起实现全网刷二维码乘车。五一假期本人亲自在广州体验了一把扫码乘车,本文将从产品(准确的说叫服务)的角度做一下分析总结。 为什么是二维码而不是NFC?网络上流传一篇文章《二维码取代NFC刷地铁,是技术的倒退吗?》,技术无罪,技术永远是纯粹的。毋庸置疑,相比较于二维码方式NFC的体验性更好、安全