关于大数据的添加

[Ruanxingzhi]

author你好～

在浏览器中加数据的时候，往往加了几MB，浏览器就炸了。
但是我们动辄要添加几百MB的数据。

我有一个想法，就是我们通过别的数据上传工具（FTP等）上传压缩文件解压，这样就可以应付大数据。

但是我找不到测试数据目录。那么问题来了：我应该把测试数据放在哪里？

[hzxie]

测试数据在数据库里
有一张数据表是 voj_problem_checkpoints

几百MB的数据是指测试数据吗?

[Ruanxingzhi]

是的，我是指测试数据。

提个建议：能不能写一个文件上传，直接把文件上传到数据库里面？
毕竟OI搞到后期，大数据很多。

[hzxie]

嗯~ 感谢你的建议。

[LinkClinton]

author你好～

在浏览器中加数据的时候，往往加了几MB，浏览器就炸了。
但是我们动辄要添加几百MB的数据。

我有一个想法，就是我们通过别的数据上传工具（FTP等）上传压缩文件解压，这样就可以应付大数据。

但是我找不到测试数据目录。那么问题来了：我应该把测试数据放在哪里？
robort1

[riteme]

author你好～

表示不能文件上传十分那啥啊，整个OJ建完只能摆题面......
某些数据结构题的数据都是大得吓人的啊......

[hzxie]

@Link-Arthur @riteme
是嘛~ 现在所有的数据是存储于数据库中的. 并不是存储于文件中的.
为了更方便的分布式测试.

请问你们可以提供一下数据文件吗?

我最近比较忙~ 尽量在七月底完成这个功能可以吗?

[Ruanxingzhi]

@hzxie 啊，非常感谢(≧▽≦)……

关于数据文件，有一份Demo： https://coding.net/u/ruanxingzhi/p/File/git/blob/master/monster.7z
数据格式：<文件名>.in 对应 <文件名>.out

另外，其它OJ的处理方式一般是这两种之一：

A.叫用户一个一个测试点地上传数据，例如hustoj
B.叫用户把所有数据打包成zip，服务器解压后添加数据，例如Tsinsen、tyvj、vijos。

[hzxie]

@Ruanxingzhi
请问最大的测试文件(一个测试点)有多大?
因为所提到的那些OJ那些都是基于文件存储的。可是我的测试数据全都在数据库里。

[Ruanxingzhi]

@hzxie 最大的数据点约16MB。每个题可能有10~20个数据点。

[hzxie]

@Ruanxingzhi
OK
好的~ 我知道了.
这个功能可能需要修改一下数据库. 晚些时候我会告诉你需要如何操作.

[Ruanxingzhi]

@hzxie 好的

[hzxie]

非常抱歉, 最近一段时间太忙了.
请再给我一些时间~ 对你们造成的不便深表歉意.

[Ruanxingzhi]

@hzxie 没事

[zhblue]

测试数据可能放文件系统比较好

[hzxie]

@zhblue
如果放文件系统的话 多台评测机怎么获取测试数据呢?
如果测试数据更新了又要怎么办?

[virusdefender]

你需要的是rsync

[hzxie]

@virusdefender
可是Windows呢?
放数据库的考虑就是这个~
但是我也很担心测试数据增大之后导致的性能问题.

[virusdefender]

@hzxie Windows不清楚，感觉Windows很麻烦。。

[zhblue]

同步机制也可以写在评测机里，按需下载

[hzxie]

@zhblue
其实是按需下载的，不过是从数据库同步。
不过改成文件系统的确会更好。