db.getCollection('segmentfaults').find({}).count();
https://docs.mongodb.com/manual/reference/method/db.collection.update/#example 新增字段 category,并给所有数据赋值 db.segmentfaults.update({query}, {$set: { category: "frontend" }}, {multi: ##1})
- 将zip解压后发现,有json和bson后缀文件,只需倒入到各个表就可以。 mongorestore -d scrapynews /Users/simon/doc/scrapynews/juejins.bson
mongorestore -d scrapynews /root/scrapy_news/data/juejins.bson mongorestore -d scrapynews /root/scrapy_news/data/segmentfaults.bson
db.getCollection('segmentfaults').find({}).count();
https://docs.mongodb.com/manual/reference/method/db.collection.update/#example 新增字段 category,并给所有数据赋值 db.segmentfaults.update({query}, {$set: { category: "frontend" }}, {multi: 1})
db.juejins.find().count() db.segmentfaults.find().count()
use dataName; db.dropDatabase();
mongodump -d mockdata /Users/kai/practice
mongorestore -d mockdata /Users/kai/practice/mockdata
这种延迟是错误的,这个导致的后果就是,假设有1000个请求,隔了两秒后,所有的请求依旧 全部发送出去了。
而理想的结果是,没发送一个请求隔2s.
for (let i = 1; i <= setTotalNum; i++) {
const url = `https://segmentfault.com/news/${category}?page=${i}`;
// const data = await dataFromSegmentfault(url, 'hot');
setTimeout(()=> {
sendRequestToSegmentfault(url, 'hot');
}, 2000)
}