上一篇文章里我使用了canal将mysql的数据同步到了es当中,但也留下了一些遗憾,像表间关联不能超过两级,只能从mysql中同步数据,稍复杂的逻辑就要自己实现client,还有实践过程中不停的踩坑等等问题。所以我后来又寻找了很多其他方案, 然后发现了2020年才刚起步的Flink CDC项目,它是
从MySQL到ES -- 大宽表解决方案 (一)
大家是否时常在开发中遇到要查询的数据不在一个表中,需要多个表联合起来才能进行筛选,而且有时候还需要分页,而且像一些数量级较大的表,再加上一些模糊查询条件,往往容易索引失效,导致慢查。
这时候我们往往会使用ES作为大宽表,然后再ES进行各种查询操作,那我们怎么将我们的业务数据同步到ES,这就是我们今天要聊的,MySQL 到 ES 的同步方案。
使用GitLab实现博客自动部署
因为工作的原因,好久没有更新博客了。这次想到要提升一下自己写博客的体验,所以想把博客改成自动部署。在以前,我写博客的流程一般是写完然后执行hexo deploy -g
,有时候出现问题还要clean一下,这种方式存在两个问题,首先是博客源码没有备份,需要单独备份,万一哪一天博客源码丢失,线上又只有编译好的源码迁移会比较麻烦,所以每次都需要单独提交一次博客源码以防万一。其次就是不能随时随地写博客,一定要配置了环境才能写。基于以上几点,遂决定趁这次机会,改进一下写博客的方式。Tips:我是使用hexo的。
基于虹软人脸识别接口开发的门禁系统
这是18年浙江省服务外包大赛的赛题,从寒假前选定这个题目开始,我们团队就开始了需求分析等一系列流程。我在这个项目中的职责是作为项目经理,实际的工作是分析好整个流程,然后给团队成员分配好任务。在开发工作中我负责整个项目的服务端开发,还有门禁系统的物业web端界面和业主web端界面。
然后寒假便开始了整个架构的设计。一开始是调试虹软的接口从Node.js版到最后的Python版,最后终于是能成功提出出了特征值。(Node.js版能进行人脸的比对,而且更方便,但当时我还想提取出特征值,经过好多天的尝试后,还是换成了Python版,然后学了一下Flask框架,把他变成了接口开放出来。短短几句话,,真的有好多泪)。
用Laravel开发API时遇到的一个坑
开发 API 开始都好好的,Laravel5.5 提供的 make:resource
用的也挺方便的,转换层不用下载其他包了。但是当我开发完几个 get、post 路由,再开发 patch 和 put 路由时发现在 postman 里面怎么测试都报错。
后来查了好多资料才发现
Spring boot 在 linux 下使用 Mybatis 连接 Docker 中的 Oracle12c 数据库
上一篇已经使用 Mysql 数据库成功的连接了数据。但因为老师要求我们这次的项目是要是要 Oracle 做的。所以还需使用 Oracle 配置一遍。
但 Oracle 在 win 界面下的配置比较繁琐。使用最后决定采用在 Docker 下使用 Oracle12c。将 Docker 中的 1521 端口映射到本机的 1521 端口中。
开发环境是 Linux, 因为装 Docker 比较方便一点。当然你也可以使用 win 下面的 Docker-tool 进行相同的操作。
项目准备
- Docker
- 数据库连接工具 (我使用的是 IDEA 自带的数据库管理工具)
下载镜像
Docker 的使用方法这里就不做详细解释了,具体可以看 Docker — 从入门到实践
- 首先再
dockerhub
中查找镜像 - 使用
docker pull sath89/oracle-12c
拉取这个优质镜像(大小有4-5g)
Robinson 大战 Spring boot 之 Mybatis
最近在上 Oracle 数据库的课,老师从一个项目该做什么开始讲起,已经见识了很多工具(虽然还没去用过)。突然,上节课,老师说要开始学数据库了,大家先用 Spring boot 连数据库,然后花了一节课时间把 Spring boot 讲了一遍(这么快的吗)。虽然我国庆看了遍 Spring boot,但我那时候没去连数据库。那这次,趁这机会,来了解一下其他优秀的框架是如何开发的。还有,,,这次老师让我们用 Oracle 数据库来连,这篇我先用 Mysql 连,因为 Oracle 坑太多,所以到时候再开一篇,讲讲怎么连 Oracle。
《人间失格》-- 太宰治
我这一生,尽是可耻之事。
在一次偶然的视频中看到这本书,想起许久之前在 kindle 上买了还未看,于是便趁这暑假的余暇读一下此书。
这应该算是太宰治的一本自传,从小时的种种际遇到高中再到大学,写尽了他这不羁又敏感的一生。