您当前所在的位置:福州新闻网 >> 新闻频道 >> 每日评论
一淘价格战数据抓取过程还原
2012-09-06 11:00:56  来源:光明网  【字号

  商品信息每15-30分钟更新一次 可追溯两年前历史价格

  8.15价格战期间,一淘网实时发布了对各大B2C电商的比价监测数据,那一淘网如何能够保证时间的及时性与准确性呢?据一淘网工程师黑侠透露,在8.15价格战期间,“价格擂台”页面大家电及3C数码等品类商品的价格数据更新频率高达到了15分钟一次。

  黑侠介绍,一淘搜索引擎的工作原理与通用搜索类似,都需要经过抓取、抽取、入数据库、建索引、以及页面展示等流程。对于购物搜索来说,搜索引擎蜘蛛就等于是一淘派出的“价格情报员”,一淘通过搜索蜘蛛自动浏览购物网站的商品页面,收集所有购物网站的商品信息,抽取出商品标题、商品价格、商品图片等重要信息存入数据库,并建成索倒排引,在用户搜索以后,来自于不同商家的,符合用户搜索关键词的商品信息就会一一展示出来了。

  在8.15价格战期间,一淘蜘蛛对于参与价格战的大家电、3C数码产品价格的抓取频率高达5分钟一次,再经过抽取、索引、页面展现等过程,“擂台”页面商品的价格刷新频率在15分钟至30分钟左右,全程真实、透明的再现了价格战“战况”。

  除了时实监测当前的商品价格信息外,一淘从去年开始就一直保持着对重要商品、热门商品价格变化情况的记录,因此,对于那些价格变化频繁的商品,一淘也能够在第一时间将商品价格变化趋势通过价格“曲线图”等方式展现给消费者。所以,不只是8.15价格战前夜的商品价格,即使是两年以前的价格信息,一淘都可以追查出来。

  据了解,目前一淘网的收录的购物网站数量已经超过5000家,也就是说,一淘网向这5000家购物网站都通过技术手段派出了“价格情报员”。而目前一淘网数据库中的商品总数量已经超过10亿件,一淘网需要每天帮助用户从海量的商品中及时准确的发现真正物美价廉的商品;除了商品价格信息外,一淘网还收录了超过2亿条商品的评论、新闻、资源等其它导购信息。

  除了通过技术抓取保证实际的时实准确外,与商家合作由商家主动提供数据也是一种方法。据了解,目前一淘已经与当当、凡客、1号店等国内超过99%的购物网站建立了良好的合作关系,合作购物网站数量超过1000家,这些商家都会主动、定时向一淘网提供商品数据,保证用户能够第一时间看到商家的促销、降价等信息。

  据黑侠透露,在一淘日常的比价搜索中,至少能够保证重要商家及商品价格信息平均每小时刷新一次;而对于一些冷门网站及商品来说,价格的更新频率也至少在每天一次左右。

【责任编辑:陈玲云】

 
日点击排行 周点击排行 月点击排行
热点专题