- 博客(308)
- 资源 (23)
- 论坛 (10)
- 收藏
- 关注

原创 京东城市时空数据引擎JUST亮相中国数据库技术大会(附PPT链接)
受疫情影响,第十一届中国数据库技术大会(DTCC2020)从原定的5月份,推迟到了8月份,再推迟到了12月份。尽管如此,依然没有减退国人对数据库技术的热情。2020年12月21日-12月23日,北京国际会议中心人头攒动,各大厂商争奇斗艳。在NoSQL技术专场,京东智能城市研究院的李瑞远博士给大家带来了《京东城市时空数据引擎JUST的架构设计与应用实践》的主题报告,受到了大家的广泛关注。以下为李瑞远博士在第十一届中国数据库技术大会(DTCC2020)中的演讲全文:各位朋友们大...
2020-12-30 11:59:24
98
原创 JUST技术:空间连接运算与空间索引
一、空间连接定义随着全球定位系统和移动互联设备的普及,海量的空间数据也随之产生。空间连接(Spatial Join)运算是一类最常用的空间数据分析算子,具有广泛的应用场景。例如统计地铁站周围500米的POI,帮助店主合理选择商铺选址;从同一个数据集中分析空间相邻的同伴关系,辅助警方侦察;查询河流周围的居民区和农田,在汛期排除洪水隐患;查找去过疫区的人群,方便疫情防控等。下面给出空间连接的定义:给定空间对相集合R和S以及空间谓词θ,计算并输出所有空间对象二元组(r,s),满足r∈R,s∈S,且r和s.
2021-01-14 22:52:32
22
原创 JUST技术:基于HMM的实时地图匹配
随着城市规模的不断扩大和便民业务的发展,行车导航、共享汽车和物流派送等应用已经深入人们日常生活之中。这些应用都不可避免地需要使用GPS、北斗等定位系统,进而产生了大量的轨迹数据。然而,普通民用GPS定位系统上传的位置数据会由于许多缘故发生与物体的实际地理位置不同的现象,产生了米级别的误差,一般在10米以内。此外,在数据传输、存储和耗电的条件限制下,导致轨迹点采样频率不宜过高。因此,以上因素导致采集到的移动对象位置与其实际所在道路之间有一定距离偏差。为了使接收到的位置数据可以真实反映移动对象的运行轨迹,需要进
2021-01-04 21:47:00
97
原创 AAAI 2021论文:利用深度元学习对城市销量进行预测
对于线上和线下的零售行业,销量预测都是一项至关重要的任务,它可以帮助企业更好的预备库存以及在各个仓库之间分配商品。特别是在大型购物节期间,强劲的促销活动将极大地促进消费。然而,可供参考的历史数据却非常稀缺。如何同时对城市的不同区域和不同时间段的销量进行预测,是一个非常具有挑战的问题。在2020年12月收录的AAAI 2021(CCF-A类)上,京东城市被收录了一篇名为《Robust Spatio-Temporal Purchase Prediction via Deep Meta Learning》的论
2020-12-29 14:28:18
36
原创 JUST技术:基于无参生成模型的轨迹生成
在大数据时代,位置数据成为各方都亟待挖掘的数据宝藏,比如在城市交通基建规划、商业选址、线下广告等场景中,都是以位置数据为重要基础。但在此过程中,隐私问题一直未得到有效解决,如何在保护原始数据不被泄露同时,更好地服务于各种城市应用呢?本文将介绍南洋理工大学与SAP联合在IJCAI 2018上发表的论文《A Non-Parametric Generative Model for Human Trajectories》,文章通过真实轨迹学习城市人群的出行分布来生成轨迹,生成轨迹可以代替包含用户隐私信息的真实轨
2020-12-23 23:11:10
35
原创 JUST技术:从空间关系到空间连接,JUST提升信息挖掘意义
现实世界中存在大量的与空间相关的数据,如停车场位置、河流、轨迹等。这些空间数据之间存在很多空间关系,如相离、相交、包含等。在实际工作中,这些空间数据经常会使用空间连接操作把两个空间数据集通过空间关系连接起来。如根据两个数据集行政区域和poi,统计出每一个行政区中包含的poi类别为加油站的数量。本次技术分享将空间数据中常用的空间关系和空间连接算法。首先将介绍空间数据的基本概念,再详细介绍OGC标准定义的比较两个几何图形关系的方法,并通过实例展示在空间关系基础上空间维度信息的统计和挖掘;其次将数据从两.
2020-12-14 20:55:18
31
原创 JUST技术:当我停留时我在干什么
随着定位技术的不断普及,嵌入在手机和PDA设备内的GPS、北斗等位置传感器周期性地记录移动对象的位置,从而产生了海量的轨迹数据。用户为分享行程可能主动记录自己的轨迹,物流派送车、出租车、共享私家车等由于运营监管的需要可能被动地记录轨迹位置信息。这些轨迹数据背后的想象空间极大。利用轨迹数据,我们可以用来估计全城的车流量、通行时间、补全现有地图等等。而为实现这些应用,我们通常会对轨迹数据进行预处理,剔除掉一些时间连续且空间上非常临近的点(下文简称驻留点),因为驻留点会影响上述应用的精确度。然而,这.
2020-12-08 10:49:14
32
原创 JUST技术:分布式时序相似查询初探
时序数据,即随时间变化的数据,在人们的日常生活中无处不在。过去的近十年来,随着电子监控和智能穿戴等设备的普及,更是产生了海量的时序数据。例如,经过多年的发展,火力发电行业的数字化程度已经达到了很高的水平,以一台60万千瓦的中型火电机组为例,其内置的上万个传感器,每秒可产生数万条实时监控数据。其中,时序相似查询,即查询出与给定序列q最相似的k个序列,可用于推荐、聚类和异常检测等上层应用。在小规模数据下,时序相似查询是没有问题的,只要将给定序列q与数据库中所有数据进行两两相似性计算后取Top-k即可。.
2020-12-02 11:21:21
21
原创 JUST技术:基于深度学习Seq2Seq框架的技术总结
随着互联网经济的普及定位技术的快速发展,人们在日常生活中产生了大量的轨迹数据,例如出租车的GPS数据、快递配送员PDA产生的轨迹数据等。轨迹数据是一种典型的时空数据(Spatial-Temporal Data),是按照时间顺序索引且空间变化的一系列数据点。在时空数据的数据挖掘中,我们也会大量借鉴在自然语言处理等时序数据中发展很成熟的技术。本次分享为您带来的是Seq2Seq(Sequence to Sequence)模型的技术总结。本次技术分享会着重介绍三个里程碑式的方法,Sequence to Sequen
2020-12-02 11:07:58
26
原创 JUST技术:JUST高效时空索引揭秘及使用指南
一、问题背景城市中超过80%的数据都与时空有关,如加油站点、出租车轨迹、交通路况等。这些数据多为半结构化和非结构化数据,并且需要管理的数据量巨大。传统的时空数据库管理海量数据时会出现性能严重下降的情况,如带有PostGIS插件的PostgresSQL。HBase等具有高可扩展性的分布式数据库又不能直接管理时空数据。为此,GeoMesa提供了大量的时空索引工具管理时空数据。但是,它支持的时空类型不够全面,并且在有些场景下它提供的索引效率很低。因此, 我们在GeoMesa的基础上研发了JUST引擎。我们提出
2020-11-18 13:34:37
80
原创 JUST技术:基于轨迹数据的人口流向分析技术
一、问题背景随着社会的发展、交通方式的高度便利,人口流动的规模越来越庞大,与此同时,人口迁移、人口流向分析等受到高度关注。人口迁移是一种地理现象,更与社会经济发展紧密相连。人口迁移会同时影响迁入地和迁出地的人口结构,进而影响自然环境,推动或抑制社会经济的发展。另一方面,一个地区的经济发展水平,生活环境等因素会推动人口的迁入或迁出。所以,人口迁移空间分布和时空动态演进的相关研究变得越来越重要。对人口迁移因素、迁移空间变动的研究都将为城市建设,经济结构调整等提供政策决策依据。尤其在新冠肺炎疫情这类重大突发公
2020-11-09 20:14:50
43
原创 JUST技术:基于时空孪生神经网络的轨迹识别
轨迹识别问题旨在验证传入的轨迹是否是由所要求的人员产生, 即给定一组单独的人员历史轨迹(例如行人,出租车司机)以及由特定人员生成的一组新轨迹,判定两组轨迹是否由同一个人员生成。这个问题在许多实际应用中都很重要,例如出租车驾驶人员身份认证、汽车保险公司风险分析以及危险驾驶识别等。轨迹识别的现有工作除了需要轨迹数据之外,还需要其他来源的数据,如传感器、摄像头等,但这些数据无法普遍获得且成本较高。此外,目前的工作只能局限于已有的人员身份识别,无法扩展至未经训练的人员。为了应对这些挑战,在这项工作中,我们首次尝试通
2020-10-28 09:19:11
61
原创 JUST技术:CK实现时序数据管理
以下文章来源于JUST团队-王棚、李瑞远,转载请获得授权本次技术分享为您带来的是,JUST(https://just.urban-computing.cn/)是如何使用ClickHouse实现时序数据管理和挖掘的。ClickHouse是一个高效的开源联机分析列式数据库管理系统,由俄罗斯IT公司Yandex开发的,并于2016年6月宣布开源。一、时序数据简介时序数据全称是时间序列(TimeSeries)数据,是按照时间顺序索引的一系列数据点。最常见的是在连续的等时间间隔时间点上获取的序..
2020-10-24 20:36:37
77
转载 JUST技术:利用迁移学习生成新城市的轨迹
市民的出行轨迹数据无论是对于城市管理、规划,还是商业活动,都是重要的参考信息。然而,获取一个城市的人群轨迹数据却非常困难。在今年4月份召开的国际顶级互联网会议WWW 2020(CCF-A类)上,京东城市报告了被会议收录的论文《What is the Human Mobility in a New City: Transfer Mobility KnowledgeAcross Cities》,研究了如何通过迁移学习,根据一个城市的POI、路网、交通信息来推测它的人群轨迹分布。1. 背景城.
2020-10-14 09:51:07
57
原创 JUST技术:利用轨迹拼接分析实时可达区域
如何快速得知从你的位置开始出发,在当前的交通状况下,5分钟之内能够抵达的空间区域范围?当你掏出手机打车时,出租车调度平台应该通知哪些范围的车主进行接单?本文将带来被国际著名数据库和数据挖掘会议DASFAA 2020 (CCF B类)成功接收的、JUST团队与武汉大学、西安电子科技大学、西南交通大学合作的论文:《Discovering Real-Time Reachable Area using Trajectory Connections》[2],作者为:Ruiyuan Li,Jie Bao,Huajun
2020-10-06 12:46:38
105
2
原创 JUST技术:如何通过轨迹相似性度量方法,发现新冠易感人群 | 技术前沿
2020年初,一场突如其来的新冠疫情,使得公共卫生安全问题受到了全社会的广泛关注。与此同时,如何及时掌握人与人之间的病毒传播路径,及时发现确诊人员的密切接触者,成为了各地政府疫情防控最迫切的需求。JUST基于大规模轨迹数据,针对易感人群难以发现的问题,开发并提供了关联人群查询功能,通过对轨迹进行匹配挖掘,能够快速找出与确诊人员行动轨迹在时空维度有过“接触”的人群。其中,实现该功能的很重要的一项工作就是:如何衡量两条轨迹的相似性。下文将简要介绍一些常见的轨迹相似性度量方法。轨迹作为一种时空数据[.
2020-09-21 19:28:04
185
原创 JUST黑科技:助力园区资源优化部署|UbiComp2020
园区内资源的智能化部署有助于降低部署成本,提高资源使用率。如何部署有限的资源更好地服务人群,是普适计算领域研究的问题之一。普适计算领域顶级会议UbiComp2020(2020年9月12日至17日)近日在线上召开。在刚结束的Location and Human Mobility分会场上,京东城市分享了被会议收录的论文《Dynamic Public Resource Allocation based on Human Mobility Prediction》。本期技术前沿,我们将介绍如何基于人流量的变化动态部署
2020-09-16 20:18:56
588
原创 JUST黑科技:助力物流小哥减负增效 | KDD2020
电商的发展需要依赖高效而可靠的物流服务,如何通过大数据和人工智能技术提升物流小哥的配送效率是我们一直在深入研究的问题。在刚刚结束的数据挖掘顶会KDD2020中,这篇《Doing in One Go: Delivery Time Inference Based on Couriers' Trajectories》成为被收录的重磅论文之一。本期技术前沿,我们将介绍京东城市时空数据引擎JUST在物流场景中如何助力物流小哥减负增效。题目:Doing in One Go: Delivery Time Infe
2020-09-11 08:20:33
207
原创 揭秘京东城市时空数据引擎—JUST如何助力交通流量预测
2014年跨年夜上海外滩灾难性踩踏事件,使得公共安全问题受到了全体社会的广泛关注。解决这一问题的很重要一项工作就是:如何实时监控和快速预测城市中每个地方的人流量。当某个地方的人流量超过给定的值或者有超过给定值的趋势时,相关部门能及时地采取相关措施,例如:疏散人群,交通引流等,这样才能防止悲剧的再次发生。为避免类似2014年跨年夜上海外滩灾难性踩踏事件,某市公安局提出需要搭建城市实时人流监控...
2020-01-06 22:03:45
8130
原创 京东城市时空数据引擎—JUST 如何通过轨迹数据恢复小区路网
双十一将至,又到了网购的狂欢季!伴随互联网的高速发展,中国电子商务交易总额已从2008年的3.14万亿元增长至2018年的31.63万亿元,网上零售规模从0.13万亿元猛增到9万亿元,中国已成为名副其实的“全球第一大网络零售大国”。与之相随的,是快递行业的迅猛发展,据国家邮政局2019年4月11日发布的《2018年中国快递发展指数报告》显示——2018年,我国快递业务量达到507.1亿件,人均...
2020-01-06 22:00:27
9567
原创 c#运行JS代码
Jint, Gitbub网址:https://github.com/sebastienros/jint编译好的dll文件:https://pan.baidu.com/s/1qYhSM64使用方法示例:class Program{ static Jint.Engine _engine; public static void Prin
2017-05-27 16:50:31
2410
原创 Comparing Hadoop, Spark, and Storm
Hadoop, Spark, and Storm have become quite popular in recent times as open-source to work with large sets of data. We will learn about the similarities and differences among these frameworks.Hadoo
2017-05-22 16:41:41
438
原创 判断点是否在多边形区域里面
英语原文:https://www.ecse.rpi.edu/~wrf/Research/Short_Notes/pnpoly.html基本思想是,以该点向任意方向(这里是x轴正向)作射线,若与多边形的交点个数为偶数,则在多边形之外,否则在多边形之内。这是作者给出的源代码:int pnpoly(int nvert, float *vertx, floa
2016-08-09 15:48:17
625
原创 Azure Table深入理解
> 1、同一个Table中的相同Partition Key是否存在同一个文件中?Azure Table为如下所示的三层结构。Stream层是最终数据存放的位置,Partition层对Stream层的数据进行分区(Partition)管理。在Stream层,数据以Extent为单位进行复制。每个Extent由Block组成,单个Extent和Block的大小均有上限。一个St
2016-05-04 14:14:41
1272
原创 Azure Service、Azure Web、Azure Storm日志机制
兵马未动,粮草先行。程序未果,日志先成。 在学习Azure平台,并用之进行项目托管的过程中,深深感叹程序日志记录的重要性。通过日志,可以知道程序运行情况,发现隐含bug;通过日志,可以挖掘产品的访问情况,进一步提升产品质量。云平台不能很好断点调试,所幸Azure提供了一套完整的日志解决方案。Service日志机制和Azure Web日志机制是记录程序里System
2016-03-26 18:08:30
1934
原创 tfs中获得的Azure storm代码不能提交
在一台机器上提交的代码,另外一台机器下载后,会发现很多问题。例如,Azure Storm便不能提交了,产生一下错误:Faild to generate spec file...storm The system cannot find the file specified at System.Diagnostics.Process.StartWithCreateProc
2016-03-24 13:41:12
560
原创 vs2013无法创建html,不能发布:The web publishing extension is not installed which is required to publish
环境:vs2013,同时在电脑上安装有vs2012、vs2015动作:可能是重新安装了Azure SKD之后,导致vs2013出错现象:无法添加、打开html文件。无法右键-》publish到azure平台网站,弹窗提示:The web publishing extension is not installed which is required to publish. You c
2016-03-24 13:39:26
2184
原创 Azure Storm入门(二)—— 事务处理
这是Azure Storm系列文章。此前的文章包括:Azure Storm入门(一)——从一个例子开始此前我们通过一个例子了解了Storm的基本执行流程。这里我们再通过一个例子来探讨一下Storm的事务处理部分。1、文件-》新建-》项目,选择HDInsight-》Storm示例,名字改为StormSample1。注意源码位置应与.sln文件在同一
2016-01-08 12:46:06
705
原创 Azure Storm入门(一)
近几日刚刚进入Hadoop及其相关产品的世界。发觉从0到有的过程的确非常煎熬。项目中,需要用到一个实时搜索,最开始想用hadoop来弄,发现hadoop适合离线批处理。而对于搜索来说,希望能够完成一个实时处理。经多方打听,storm适合处理实时工作。关于storm的入门文档转载文章:http://www.kangry.net/blog/?type=article&artic
2016-01-02 19:16:43
1102
原创 vs 2013 设置website项目端口
在web项目创建之后,当我想重新debug时,出现the port xxx is in use 错误。经过netstat分析,发现占用此项目端口的服务是system。不敢将其直接关闭。而网上说的禁止动态分配端口的方法并不适用与VS 2013,因为项目属性根本不可以指定端口,如下图所示:要想更改该项目端口,用记事本打开工程文件(.sln),然后查找替换原来所有的端口到你指定的
2015-12-07 14:43:58
4142
原创 面试题:分词统计
题目:给定一个目录,统计该目录及其子目录下所有文件内容中的词频,并输出最多的词频。假设所有的文件都是txt格式,且所有的内容都是英文。分析:1、可以用Dictionary来存储每个词的出现次数2、时间复杂度至少为O(n)似乎无法再进行优化了。那么我们通过多线程来并行处理。C#多线程非常方便。代码如下:using System;using System.Collecti
2015-11-25 14:25:53
559
原创 vs2013 查看程序性能
一个程序运行时间太慢,如何查看那部分是性能瓶颈呢?最原始的方法,每个程序写一个stopwatch,通过输出来进行判断。其实vs2013已经帮我们集成好了程序性能分析工具。菜单debug -》performance and diagnostics选择性能指标,比如CPU、GPU还是内存运行即可。
2015-11-25 14:13:52
4069
原创 C#动态加载web service
我有多个工程,其中一个工程A引用另外一个工程B的代码,而工程B应用了一个web服务。在B中的Config文件中定义了相关引用。但A工程却编译不了,抛出异常:Could not find default endpoint element that references contract 'XXXX' in the ServiceModel client configuration section
2015-11-09 15:45:16
968
原创 SQL Server 更改数据/日志文件位置
由于建数据库的时候没有考虑周全,放在了C盘上,导致C盘满了。现在的任务就是将SQLServer的数据文件移动到其他盘去。1、记录原Logical Name和原来数据库文件位置。对着数据库右键-》属性-》文件,记录原Logical Name和原来数据库文件的位置。2、将数据库offline对着数据库右键-》任务-》下线3、将数据
2015-11-05 13:54:21
5501
原创 判断二维平面上两线段是否相交
题目:如题,包含线段端点。重合也算相交。解题思路:假设两线段分别为AB、CD。则AB直线的方程为Fab(x,y) = (y-ya)(xa-xb) - (x-xa)(ya-yb)=0。我们注意到,若线段AB与线段CD相交,则必有(1)直线AB与线段CD相交(2)直线CD与线段AB相交判断线段CD是否与直线AB相交,只需判断:点C和点D在直线AB的不同侧,即Fa
2015-10-25 18:08:30
1541
原创 百度富文本编辑器ueditor上传文件到对象存储BOS中
此前做了一个百度富文本编辑器ueditor上传文件到bcs中的整合说明,并附上了整合文件下载,岂料百度在BAE3.0时不再支持BCS,导致原来上传的图片不能访问,代码不能工作。这里说一点,百度在未通知用户的情况下,直接将之前的bcs设为不能访问,是一个非常不负责任的做法,希望下次工程师做决定之前慎重一下。BCS不在工作,我的博客还应继续。所幸有一个BCS的替代品BOS,因此我在原来的基础上整合
2015-10-22 12:34:02
2432
原创 [LeetCode] Minimum Window Substring
Minimum Window SubstringGiven a string S and a string T, find the minimum window in S which will contain all the characters in T in complexity O(n).For example,S = "ADOBECODEBANC"T = "AB
2015-08-26 16:14:10
636
原创 [LeetCode] Edit Distance
Edit DistanceGiven two words word1 and word2, find the minimum number of steps required to convert word1 to word2. (each operation is counted as 1 step.)You have the following 3 operations p
2015-08-25 14:59:20
607
原创 [LeetCode] Missing Number
Missing NumberGiven an array containing n distinct numbers taken from 0, 1, 2, ..., n, find the one that is missing from the array.For example,Given nums = [0, 1, 3] return 2.Note:
2015-08-24 14:52:42
810
原创 [LeetCode] Text Justification
Text JustificationGiven an array of words and a length L, format the text such that each line has exactly L characters and is fully (left and right) justified.You should pack your words in a
2015-08-24 14:11:57
616
jquery.gantt,js甘特图
2014-12-30
c#汉字转拼音dll
2014-09-21
zend safeguard 加密php 破解版
2014-03-12
ueditor上传到bcs中
2014-01-05
mysql-connector for C/C++
2013-10-24
coreseek4.1 支持多音字拼音索引第三版
2013-09-19
coreseek4.1 支持多音字拼音索引 win64
2013-09-03
coreseek4.1 支持拼音索引 win32
2013-09-01
ueditor for bos
2015-10-22
wangshaner1的留言板
发表于 2020-01-02 最后回复 2020-01-02
jquery parseJson报错SyntaxError: Unexpected token b
发表于 2014-01-16 最后回复 2014-01-17
httpclient用httpget方法获取腾讯微博的网页源码不完整
发表于 2012-11-14 最后回复 2013-12-28
vs2008编译coreseek源码
发表于 2013-08-01 最后回复 2013-12-06
用java如何实现系统托盘的冒泡提示?
发表于 2013-01-05 最后回复 2013-09-07
java调用系统进程,控制被调用进程与java主进程的执行顺序
发表于 2012-12-04 最后回复 2012-12-04
qt运用phonon播放音乐出现问题
发表于 2011-08-30 最后回复 2012-11-23
qt如何把已绘制的图删除
发表于 2011-09-10 最后回复 2012-11-23
android4.0谷歌输入法自动停止运行
发表于 2011-10-21 最后回复 2012-03-20
java怎样才能使用第三方公司的包呀
发表于 2011-05-17 最后回复 2011-08-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝