Tech
[程序员] 我把 7000 多篇 AI 顶会论文,整理成了一份可以被机器读懂的数据集,需要自取
我是做 AI 研究的,经常为了确认一个实验设置,在几十篇 PDF 里来回翻。比方说我想知道某个方向常用哪些数据集、指标和训练方案,只能自己建表、自己比对。 但是,一篇论文动辄几十页,管线架构、算法模块、训练参数、算力消耗、表现指标和其他方法细节,都藏在正文、表格、图注和附录里。几千篇论文堆在一起,还没有目录:想找“用过同一组数据集、针对同一个 benchmark”的工作,只能手动翻,效率太慢了。 所以,借助自研的开源文档解析工具 Knowhere ,我把 AI 顶会论文批量整理为结构化数据,提取了关键实验参数,并在 🤗 Hugging Face 上开源了。已上线的 2023 年数据集覆盖 NeurIPS 、ICML 、ICLR 约 7300 篇论文,包含标题、摘要、作者、会议、研究主题、结构化内容摘要和语义向量,方便检索、筛选和发现相似论文。 需要的老哥可以自取: https://huggingface.co/datasets/JensCS/top-ml-conference-papers-2023 可能有些老哥不做科研这个方向,所以我先简单介绍一下数据集是干嘛的...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX