拨开荷叶行,寻梦已然成。仙女莲花里,翩翩白鹭情。
IMG-LOGO
主页 文章列表 将经常更新的阵列保存到数据库

将经常更新的阵列保存到数据库

白鹭 - 2022-03-03 1940 0 0

我创建一个机器学习应用程序,它应该在号码保存到数据库中本地频繁这些数值是相连的,这基本上意味着我想通过在串列中附加一个数字来频繁更新时间序列的值

一个理想的情况是能够保存键值对,其中键代表阵列的名称(例如 train_loss),值代表时间序列。我的第一个想法是利用redis但据我所知 redis 资料只保存在 RAM 中?我想要实作的是在每个日志之后或者每两个日志之后保存到磁盘。

我需要本地保存资料,因为这些资料将被其他应用程序(在 javascript 中)使用。因此,一些类似 JSON 的格式会很好。使用 JSON 档案(和 Python json 包)是一种选择,但我相信它会因为频繁更新而导致 I/O 瓶颈。

我基本上是在尝试创建一个像 Tensorboard 这样的网络应用程序的克隆。

uj5u.com热心网友回复:

我们在托管应用程序后端使用的一种用于频繁使用的读取/发布 api 的技术是同时写入 Redis 和 DB,在读取操作期间,我们检查密钥是否在 Redis 中可用,如果不可用,我们将读取将其更新到 Redis,然后为其提供服务

标签:

0 评论

发表评论

您的电子邮件地址不会被公开。 必填的字段已做标记 *