我们如何使用机器学习打败加密货币市场

关于尝试做看似不可能的事情的惊险片

几年前，在我作为自由职业者的那段时间里，我被一位美国商人随机联系，该商人设法一手打败了市场，需要一些基础架构代码方面的帮助。 我当时以数字游牧民族的身分在南美旅行，但是这个要求太诱人了，所以不容忽视，所以我花了15个小时的时间加入他在澳门的行列，澳门在拉斯维加斯与中国很近。

> Wynn Palace, Macau (Photo by Author)

我们住在五星级酒店，从事贸易机器人交易，并在当地赌场赌博。 一次超现实的经历彻底改变了我的职业生涯。 离开后，我有信心自己会击败市场，但是已经过去了很多年，而且我还没有涉足。

虽然这种经历令人鼓舞，但也很令人沮丧。 我认识的唯一一个能够打败市场的人，无论从智力还是心理上来说，显然都超出了我的范围。 他有一个聪明的头脑和出色的应对压力的能力。 我对自己是否足够好表示严重怀疑。

后来，我开始建立公司，在雇用软件开发人员和数据科学家时，我始终牢记着这个潜在的项目。 在某个时候，我们似乎找到了合适的人，但是很难证明风险的合理性。 想象一下，您是Google的高级数据科学家，每年可赚50万。 您有什么机会可以辞职并大幅度击败市场以使其值得呢？ 我不会冒险。 同样，我们正在做一些慷慨的报酬客户工作，让我们的顶尖人才忙于至少一年的实验很可能会失败的想法简直是吓人。

改变主意的是我们的一个项目，一个流动资金提供者。 它从原始市场发展而来，在加密衍生品交易所中获得了越来越多的客户，并且在竞争日益激烈的需求下使用。 我们达到了将利润保持在零以上的能力极限，因为我们过去的做法是不做任何愚蠢的事情，而不是做一些特别聪明的事情。 我们决定将球门柱从不亏本转变为击败市场，以此将自己推向新的高度。 即使我们失败了（极有可能失败），我们在此过程中获得的见解也很可能会改善我们的流动性提供者。

我们开始建立团队。 我们很幸运能够使用成熟的交易基础架构，因此我们可以专注于数据科学。 团队的核心是我们两位时间序列（预测）和聚类（市场体制）方面最有经验的数据科学家，以及一位数据工程师，他协助进行了数据处理，回测和工具。 另外，我负责研究和管理。 总体而言，我们组成了一支非常平衡的团队，是时候动手了。

非常激烈。 我们将此项目视为一种智力大战。 我们没有讨论或计划； 它自然是通过这种方式解决的。 感觉这种态度是克服巨大鸿沟的唯一方法，这种鸿沟将我们与能够持续击败市场的人们分隔开来。 我们全速工作； 驱动器正在穿过屋顶。 它纯粹是研发活动：以最令人兴奋的方式竭尽全力。

前两个月很有趣。 我们得到了改进。 似乎我们已经接近利润率了……但是后来达到了一个稳定的水平，在接下来的两个月中，我们取得了接近零的进展，并且越来越感到沮丧。 从心理上讲，这是一个非常艰难的时期。 我们可以做到吗？ 我们不是在浪费时间吗？

这种高原背后的原因有很多。 首先，最初的进展主要是由可公开获取的信息推动的，而且我们没有注意到我们以多快的速度进入您自己的领土。 其次，您走得越远，想法/实验就越复杂。 第三，由于最初的进展引起了人们的过度自信，我们通过从事过多的工作来分散我们的资源。

很明显，我们需要进行调整，因此我们添加了更多的结构，从创造性的混乱转变为更成熟，更可持续的过程，并且执行了更加细化的任务，这些工作使我们以常规进度的形式使用***。 即使有时有些虚假，它产生的动力也值得。

我们当然很幸运。 我记得至少有三遍我们取得了突破。 例如，在某些时候，我们努力检测特定市场条件下的趋势。 除其他事项外，我们正在研究几乎不相关的白皮书中各行之间提到的想法。 原来是改变游戏规则的人。 我们在其他任何地方都没有看到过这个想法，因此找到它的机会微乎其微。 我们可能最终会自己发现它，但是它会花费更长的时间，并且到那时我们可能需要取消该项目。 当利润如此之薄时，运气就变得至关重要。

经过大约六个半月的努力，我们看到了第一个持续盈利的版本。 上周，差不多三个月后，它的利润达到了10万美元。 感觉就像我们完成了第一个里程碑，所以我想坐下来，将所有想法汇总在一起。

下面，我将详细介绍一些更多的技术主题。

做市

从表面上看，做市是一种"快速致富"的策略。 让我们以加密货币衍生品交易所为例。 每笔交易您可获得0.025％的回扣（负佣金）。 使用最幼稚的做市策略，仅在Bitmex上，您每天就可以进行两到三千笔交易，仅返利一天就可以达到约50-70％。 听起来不错吧？ 但是不要急着购买兰博基尼：做市是梦想成真的地方，这要归功于逆向选择（当市场下跌时您的买单得到执行，反之亦然）和库存风险（当 价格跳升至您的头寸）。

> Position, Price and Profit dynamics for market making

让我们看一下图表，该图表向我们展示了实际的做市策略的头寸，价格和利润。 首先，我们进行交易并最终获得多头头寸，但随后价格下降，我们的利润也下降。 因此，我们的头寸做空，价格猛涨，因此我们又输给了消息灵通的玩家。 冲洗并重复。

最近有数十本白皮书，这些白皮书大多来自经典的Avellaneda和Stoikov（2008），它们在稳固的数学框架下整合了做市商的大部分活动部分。 这些文章是高度相关的想法的重要来源，但它们之间存在细微差别：有些假设您的库存无限制，另一些则忽略价格波动，使用过时的订单簿建模，忽略市场方向等。

最初，我们天真地假设真正的获利能力的唯一途径是能够在相对较长的时间内预测市场。 在上面的示例中，通过这种方式，我们可以预测市场是否大幅下跌或波动很小，并采取适当行动。 无论我们尝试了什么，我们的结果都是中等的。 这是我们通过艰难的方式学到的一些教训：

· 我们花了太多时间来寻找一种灵丹妙药的机器学习模型。 最好一开始保持简单，并且主要坚持传统的机器学习模型，而这种模型却被人们低估了。 神经网络是不可原谅的，需要花费大量时间才能使其正常工作，并且不能保证带来更好的结果。

· 当一切出错时，找到可以为您解决所有问题的参数的神奇值的想法非常令人欣慰。 十分之九的想法不好。 这需要大量的计算资源，即使您以此方式获得最佳值，它们也可能会过度拟合历史数据。 这种方法存在时间和地点，但是您必须非常小心。

在某个时候，我们不得不接受这样一个事实，即我们无法根据预期的远景和预期来预测市场，因此我们开始寻找解决之道。 经过多次失败的尝试，我们最终获得了相当精确的市场体系以及数十种启发式方法。 它使我们能够很好地了解市场情况，而无需做出预测，并且在狭窄的范围内，我们可以更有效地使用我们的机器学习预测引擎。 这个看似明显的最佳位置为我们带来了第一个获利的版本。

到目前为止，这是我们解决方案中最棘手的部分。 一方面，我内心的完美主义者对此并不特别满意。 另一方面，如果将这种数据科学与软件开发进行比较，那么用高级语言编写的具有坚实架构的代码就不会是精美的代码。 用C语言编写的丑陋，高度优化的代码会为了性能而放弃最后的体系结构。

做市是非常微妙的，细微的和阴险的。 原因通常是由对冲基金或银行完成的，甚至偶尔会损失很多钱。 如果我可以回头改变一件事，那么我将从一个简单的策略开始，希望将其带到盈利能力，然后才开始做市。 发生的事情太多了，这势不可挡，对我们的机会产生了负面影响。

见解的来源

机器学习在金融中的应用是一个极其秘密的领域，因此，当您从头开始时，获取见解会非常困难。 以下是对我们有帮助的信息来源：

· 金融机器学习的进展

> Advances in Financial Machine Learning by Marcos Lopez de Prado: Wiley, (2022), Front cover. http:

这是一本概述如何在金融中使用机器学习的最佳书。 它帮助我们在合理的时间范围内建立了第一个远程得体的模型。

2.白皮书

我们已经处理了数百份白皮书，它们当然是洞察力的重要来源，但是您必须要小心。 大多数学者无法使用适当的交易基础架构，因此他们的想法通常通过基本的回测得到验证。

3.基本文献

在时间序列，统计数据和计量经济学的基础文献中，有很多有用的信息被公众所忽略。 它实际上不是隐藏的，它在那里，但坦率地说很无聊，周围没有炒作。 但是，我们越深入，我们越倾向于这种资源。

4.Medium

刚开始时，我对Medium持怀疑态度，因为面对现实，这里有一些可疑的文章。 但是随着时间的流逝，我开始热衷于Medium，因为它具有出色的推荐引擎，并且每天早晨收到一组新的乐器相关文章令人耳目一新。 由于"中型"文章的篇幅庞大，您会接触到各种各样的想法。 并且补充了来自上述来源的更深入但更狭窄的见解。

计算资源

对于数据科学家的硬件而言，唯一真正重要的是反馈回路。 如果您今天从事某项工作，并且在一夜之间进行了实验，那么理想情况下，您需要在第二天早晨至少获得某种反馈，以便找出您是否朝着正确的方向前进。

如果您需要一直训练模型，那么云GPU要么太昂贵要么免费，但功能不够强大，因此对于R＆D，我们通常会坚持使用自己的硬件。 对于台式机，我们使用6核AMD Ryzen 3600和Nvidia RTX 2060，对于在数据科学家之间共享的工作站，我们更喜欢32核AMD Threadripper 3970x和Nvidia RTX 2080 TI，尽管您无需工作站就能走得很远。

从技术上讲，Nvidia RTX 20xx GPU已过时，因为有传言称Nvidia将在3月份发布7nm GPU，并期望以相同的价格将性能和内存提高30％至50％。 像最近的大多数版本一样，它被推迟了，但是随着中国重新步入正轨，如果您要购买昂贵的GPU，最好等一下。

附言

这个小小的实验我对宇宙感到非常感谢。 否则，由于我们所参与的许多项目由于冠状病毒已经被取消/推迟，我将不得不做出非常艰难的决定……相反，我们正在使用额外的资源来将该项目扩展到新的市场并 策略。

在撰写本文时，我意识到可以分享很多东西而不会损害我们的盈利能力，因此我计划发表三篇后续文章，详细介绍一些技术方面，例如市场微观结构，市场制度和交易基础结构。