前言
现在越来越多的人都开始关心自己的运动数据，比如每日的计步、跑步里程、骑行里程等。运动APP与运动类的穿戴设备借助传感器、地图、GPS定位等技术，收集好运动数据以后，通过与互联网社交功能结合，产生了一种新的运动模式。用户不仅可以查看与分析自己的运动数据，还可以分享跑步路线、骑行路线给附近的运动好友，还可以组团跑步、推荐运动设备等，吸引了各年龄段的用户。
核心需求
现在比较流行的一些运动APP和穿戴设备都提供了较为丰富的功能，甚至可以购物和社交。但运动轨迹管理、运动数据分析、附近的跑步路线/骑行路线、附近的运动团这些始终是核心功能点。
运动轨迹数据可以是穿戴设备生成的也可以是手机APP生成的，先在APP端存储，最后由手机APP批量上传到服务端。服务端和数据库都需要支持高并发的读写、数据库要支持海量的存储。
附近的运动好友、附近的运动路线、附近的运动团数据量相对会少一些，但需要支持地理位置检索。
数据模型
如下方左边的图所示，一次跑步或者骑行就会产生一条轨迹信息。我们可以把轨迹数据分成两个部分：跑步记录和轨迹点信息。
附近的人、附近的跑步路线这类数据，我们可以把它们都看成一个点。例如：我们认为跑步路线的起始点就是它的位置，于是就有了右下方的图：中间点是我，以我为中心，去查找附近N公里范围内的数据。
技术选型
我们主要分析下MySQL与Tablestore这两种数据库在运动场景下的使用。
MySQL
运动轨迹数据不能删除，存储量会越来越大，使用MySQL首先要考虑的是它是单机型数据库，横向扩展不友好。另外轨迹数据写多读少，大部分是冷数据，用MySQL存储也不经济。当用户规模大起来以后，轨迹点上传对于数据库的读写性能也有很高的要求。总结起来有如下劣势点：
- 单机数据库，不好扩容，存储容量受限。
- 存储大量冷数据，成本高，不经济。
- 对于海量高并发运动轨迹数据的读写需要做很多优化。
Tablestore
Tablestore(表格存储)是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库，提供了面向轨迹类场景的Timestream模型，可提供PB级存储、千万TPS以及毫秒级延迟的服务能力。适合运动轨迹的场景 。
跑步、骑行、健走等动动轨迹数据和附近的人、附近的跑步路线，都可以直接使用Timestream模型，官方的JAVA SDK有使用示例。
基于Tablestore Timestream的功能实现
Timestream模型中，数据存储分成meta和data两张表。在我们的场景中，meta表存放两类数据：设备的元数据和轨迹位置、运动记录的订单信息，这两类数据通过Timestream Identifier中的一个tag字段进行区分。data表存放跑步/骑行的轨迹点信息。
Meta数据结构
Timestream的Identifier部分有三个字段，Name用于存放运动主体的名称，比如 xxx手机、xxx手环等，ObjectType用于区分本条记录是设备还是运动订单，objectId是唯一标识，比如设备ID、订单ID。
Attributes中有两类信息，如果当前主体是轨迹订单，属性列对应的是运动类型、起至时间，如果主体是设备，属性列对应的是对象类型，位置点和时间等。
实现方案
基于上面的meta数据结构，我们抽象出来三个对象：SportObject、SportTrackMeta、SportTrackOrder。其中，SportObject对应的是meta表中的Identifier，它是一个运动主体的标识；SportTrackMeta对应的是meta表的设备位置信息，SportTrackOrder对应的是meta表的轨迹订单信息。
数据的读写接口的定义如下：
public interface ITrackWriter {
/**
* 写入位置点meta信息，包括附近的人、附近的跑步路线
* @param sportObject
* @param sportTrackMeta
*/
void writeTrackMeta(SportObject sportObject, SportTrackMeta sportTrackMeta);
/**
* 写入跑步、骑行等运动记录信息
* @param sportObject
* @param sportTrackOrder
*/
void writeTrackOrderMeta(SportObject sportObject, SportTrackOrder sportTrackOrder);
/**
* 写入轨迹点信息
* @param sportObject
* @param sportTrackMeta
* @param positions
*/
void writeTrackPosition(SportObject sportObject, SportTrackMeta sportTrackMeta, List positions);
}
public interface ITrackerReader {
/**
* 获取所有的跑步记录
* @param sportObject
*/
void listTrackMeta(SportObject sportObject);
/**
* 获取一次跑步、骑行的轨迹点
* @param sportObject
*/
void getTrackData(SportObject sportObject);
/**
* 获取distanceInMeter范围内，附近的人、附近的跑步路线 信息，根据距离排序
* @param targetType
* @param centerPoint
* @param distanceInMeter
*/
void listTargetNearbyOrderbyDistance(String targetType, Position centerPoint, int distanceInMeter);
}
设备端通过writeTrackMeta接口，定时向服务端上传位置点信息，服务端会存储最新的位置点。跑步/骑行记录，通过writeTrackOrderMeta接口上传订单元数据，通过writeTrackPosition接口上传轨迹点。
查询接口也是分成两类，listTrackMeta用于查询运动记录订单，getTrackData用于查询一次跑步/骑行的轨迹信息。通过SportObject中的ObjectType，可以区分订单与设备这两类数据，示例中只提供了这两类数据的过滤，如果需要更多的条件过滤，可以传入Attributes信息，Timestream也支持根据这attribute进行过滤。
写入设备位置
设备位置信息主要包括：设备标识、位置点、时间这三个部分。
public void writeTrackMeta(SportObject sportObject, SportTrackMeta sportTrackMeta) {
TimestreamIdentifier identifier = buildIdentifier(sportObject);
TimestreamMeta meta = new TimestreamMeta(identifier)
.addAttribute("location", sportTrackMeta.getLocation())
.addAttribute("timestamp", sportTrackMeta.getTimestamp())
.addAttribute("targetnearybytype", sportTrackMeta.getTargetNearbyType());
TimestreamMetaTable metaTable = tablestoreTrack.timestreamClient.metaTable();
// write meta
metaTable.put(meta);
}
查询附近的人
在本方案中，附近的人对应的点，实际上是附近的设备，所以只要检索设备的位置信息。
public void listTargetNearbyOrderbyDistance(String targetType, Position centerPoint, int distanceInMeter) {
String gePoint = String.format("%f,%f", centerPoint.getCoords().getLatitude(), centerPoint.getCoords().getLongitude());
Filter filter = and(
//查询条件一：数据类型为 设备
Tag.equal("objectType", SportObjectType.device),
//查询条件二：距离中心点distanceInMeter距离的点
Attribute.inGeoDistance(Constants.ATTRIBUTE_COL_GEO, gePoint, distanceInMeter)
);
TimestreamMetaIterator iter = tablestoreTrack.timestreamClient.metaTable()
.filter(filter)
.selectAttributes("location")
.fetchAll();
//距离排序部分省略..。
}
返回数据如下:
user: user_center, distance:0 meters
user: user_0, distance:146 meters
user: user_19, distance:242 meters
user: user_5, distance:308 meters
user: user_10, distance:481 meters
.......
第一个点的用户是中心点用户，距离0米，实际使用的时候需要排除。其它点按距离排序。基于附近的人、附近的跑步路线还可以实现很多有趣的功能，比如附近有多少人正在跑步、有多少人正在健走，如果用户授权公开位置，还可以在地图上进行标记。
### 写入跑步/骑行轨迹
public void writeTrackOrderMeta(SportObject sportObject, SportTrackOrder sportTrackOrder) {
TimestreamIdentifier identifier = buildIdentifier(sportObject);
TimestreamMeta meta = new TimestreamMeta(identifier)
.addAttribute("sporttracktype", sportTrackOrder.getSportTrackType())
.addAttribute("distance", sportTrackOrder.getDistance())
.addAttribute("starttime", sportTrackOrder.getStartTime())
.addAttribute("endtime", sportTrackOrder.getEndTime());
TimestreamMetaTable metaTable = tablestoreTrack.timestreamClient.metaTable();
// write meta
metaTable.put(meta);
}
public void writeTrackPosition(SportObject sportObject, SportTrackMeta sportTrackMeta, List positions) {
TimestreamIdentifier identifier = buildIdentifier(sportObject);
TimestreamMeta meta = new TimestreamMeta(identifier)
.addAttribute("location", sportTrackMeta.getLocation());
TimestreamMetaTable metaTable = tablestoreTrack.timestreamClient.metaTable();
// write meta
metaTable.put(meta);
TimestreamDataTable dataTable = tablestoreTrack.timestreamClient.dataTable(tablestoreTrack.config.getTrackDataTableName());
for (int i = 0; i < positions.size(); i++) {
Point point = new Point.Builder(positions.get(i).getTimestamp(), TimeUnit.MILLISECONDS)
.addField("lat", positions.get(i).getCoords().getLatitude())
.addField("lot", positions.get(i).getCoords().getLongitude())
.addField("accuracy", positions.get(i).getAccuracy())
.addField("altitude", positions.get(i).getAltitude())
.addField("altitudeAccuracy", positions.get(i).getAltitudeAccuracy())
.addField("speed", positions.get(i).getSpeed())
.build();
// write data
dataTable.asyncWrite(identifier, point);
}
}
查询跑步/骑行记录
public void listTrackMeta(SportObject sportObject) {
Filter filter = and(
Tag.equal("objectID", sportObject.getObjectId()),
Tag.equal("objectType", sportObject.getSportObjectType())
);
TimestreamMetaIterator iter = tablestoreTrack.timestreamClient.metaTable()
.filter(filter)
.selectAttributes("distance", "starttime")
.fetchAll();
System.out.print(iter.getTotalCount());
while (iter.hasNext()) {
TimestreamMeta meta = iter.next();
String title = meta.getIdentifier().getName();
long distance = meta.getAttributeAsLong("distance");
long timestamp = meta.getAttributeAsLong("starttime");
System.out.println(String.format("title: %s, distance:%d meters,timestamp:%d", title, distance, timestamp));
}
}
返回的数据如下：
title: 4月17日晚上骑行, distance:3000 meters,timestamp:1557316433
实际场景中数据会复杂很多，需要在demo的基础上添加属性字段。
示例代码开源
欢迎加入
表格存储(Tablestore)推出了很多贴近用户场景的文章与示例代码，欢迎大家加入我们的钉钉公开交流群一起讨论，群号：11789671。
如果觉得《mysql 轨迹数据存储_基于Tablestore实现海量运动轨迹数据存储》对你有帮助，请点赞、收藏，并留下你的观点哦！
