摘要： 在接入第三方数据流或接入物联网设备时，通常这些数据所上报的数据只是按照指定的协议所编码，上报的数据流也不够紧凑，如我们直接存储这类字节流数据也比较大。此时可以将字节流转为其他压缩格式的流，如Protobuf等； 将字节流转为Protobuf流具体流程为：定义Proto文件、生成对应的Proto对象、 阅读全文

摘要： SingleFlight将并发请求合并成一个请求，可用于减少下游压力；CyclicBarrier可重用栅栏并发原语，控制一组请求同时执行； SingleFlight 在Go中SingleFlight并不是原生提供的，而是开发组提供的扩展并发原语。它可实现多个goroutine调用通过一函数时，只让一 阅读全文

摘要： 在阅读有些Python的开源项目源码时，会看到某些对象调用了一个方法，但在该对象当中却又找不到该方法。还可能会看到在调用某个方法是并不是直接调用而是使用了getattr这个方法；好在现在IDE比较智能，通常也还能够关联找得到该方法； 调用对象本身没有存在的方法属性、间接调用方法，下面看看在Pytho 阅读全文

摘要： 要训练自己的模型、需要标注图片，好在现在标注工具比较简单几乎傻瓜化了。这里使用LabelImg对图片进行标注； LabelImg安装 conda create -n labelImg python=3 conda activate labelImg conda install pyqt=5 cond 阅读全文

摘要： 最近复活了躺在月饼盒子里吃灰已久的树莓派，买了个L298N电机驱动器、买了个车架子，准备搞个小车玩玩； 通过树莓派让小车轮子转起来也比较简单简要概述起来分为下面二步： 1. 树莓派发送数据给电机驱动器 2. 电机驱动器驱动电机转动从而带动轮子转动 让小车动起来就是这么简单，方法步骤有了，下面就看看具 阅读全文

摘要： 在使用Java编写apache-flink程序的时候相信很多新手都遇到下面这样的异常； org.apache.flink.api.common.functions.InvalidTypesException: The return type of function 'main(DemoApp.jav 阅读全文

摘要： tqdm Tqdm库比较常用，用于显示进度条。 简单用法： from tqdm import tqdm for i in tqdm(range(2)): pass 100%|███████████████████| 2/2 [00:00<00:00, 1998.72it/s] 从上面可以看到生成一个 阅读全文

摘要： 前两天文章说了海南IT互联网相关数据提到公司数量很多，但招聘的岗位很少的问题，但由于只是简单截图了相关招聘数据做就吐槽招聘数据少。可能数据维度太少、没做横向对比，导致看上去不太不太科学、客观。但该篇文章的结论是否有问题呢？ 公司增、税收增、人员不增的说法是否站得住脚，这篇文章将主流招聘网站的数据全部 阅读全文

摘要： MongoSpark为入口类，调用MongoSpark.load，该方法返回一个MongoRDD类对象，Mongo Spark Connector框架本质上就是一个大号的自定义RDD，加了些自定义配置、适配几种分区器规则、Sql的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚了其分析 阅读全文

摘要： Go中也提供了反射机制，与Java一样Go的反射也是在运行时获取对象的相关信息，更新对象内部状态；Golang通过反射可以获取对象类型、字段类型与值、调用struct实例方法、更新实例值等； Go关于反射相关的对象、函数都在reflect包中最主要的两个为：Type与Value； Go提供了下面两个 阅读全文