dweb searcher design zh v001

目标

设计一个dweb搜索引擎

问题

跟进中

• 数据存放在ipfs上也容易丢失或者找不到，接入filecoin之后，当前的存储预期时间是5年，持续跟进中。 参考： https://github.com/filecoin-project/FIPs/issues/54

有初步方案的

• ipfs内容的自描述问题： ipfs的数据存储不够规范，很多以hash的形式发布，这样无法自带文件内容的meta信息。考虑以目录的形式发布内容。并同时附上内容的原始文件（同时提供markdown和html），以及metadata-json
• ipfs内容的链接关联问题： ipfs上的部分内容外链很少，导致按照内容去写爬虫较为困难，以爬虫的方式本身也不合理。可能的做法：内容提供者主动通过某种方式向开放的搜索引擎和自己喜欢的内容社区注册内容meta信息；内容提供者提供规范的json-feed或者rss。当前设计方案是，将metadata独立于ipfs内容，以ipld-json的结构更新metadata，类似https://iscn.io/的设计，并在metadata里也包含关联内容信息。metadata目前先以web2的方式存储（定期将数据备份到ipfs），也可以探索某种轻量的web3解决方案。

思考中的

• ipfs内容的更新问题：在metadata-json中附带ipns链接，当有更新时向开放的搜索引擎和自己喜欢的内容社区发送ping。
• 用户如何许可自己的内容的传播： 如果以CC协议，则分发自由；如果以nft-erc-1155方式则需要考虑是用于版权控制还是内容许可；如果是CC-加上可选的赞赏，似乎不错。
• ipfs之外的协议是否有优质内容，如何兼容？
• 该搜索引擎应该是去中心化的、模块化的。代码和数据开源，便于该引擎能被任何人轻松构建和更改搜索算法。

metadata格式规范

• 参考rss2.0, atom, json-feed 的设计, 以json-feed为基础进行扩展，同时提供atom的向后兼容，目前开发暂时命名为rss3

参考

• https://discuss.ipfs.io/t/would-there-be-an-interest-in-an-ipfs-search-engine/8058
• https://ipfs-search.com/#/search
• https://github.com/orbitdb/orbit-db
• https://github.com/hypha-network/hypha-desktop
• https://gitlab.com/ipfs-search/ipfs-search-crawler
• https://jsonfeed.org/
• https://jsonfeed.org/version/1
• https://jsonfeed.org/feed.json
• https://jsonfeed.org/mappingrssandatom
• https://zh.wikipedia.org/wiki/Atom_(%E6%A8%99%E6%BA%96)
• https://validator.w3.org/feed/docs/rss2.html
• https://www.w3.org/wiki/Atom