解决了什么技术难题

场景题

如何判断几十亿个数 是否存在某个数？

对于几十亿个数的查找问题

• “对于几十亿个数的查找问题，首先可以考虑直接查找，但时间复杂度是O(n)，效率较低。
• 如果数据允许排序，可以先排序再使用二分查找，排序的时间复杂度是O(n log n)，而查找的时间复杂度是O(log n)，但整体性能仍然可能不够理想。
• 为了提高查找效率，可以考虑使用哈希表或布隆过滤器，哈希表的查找时间复杂度是O(1)，但需要较大的内存空间；而布隆过滤器则是一种空间效率更高的数据结构，不过布隆过滤器会有误判，只能用于快速判断某个数不存在或可能存在。
• 如果数据量太大，无法一次性加载到内存中，可以采用分片处理方法，将数据分成多个小文件进行处理。如果数据存储在分布式系统中，可以使用分布式计算框架（如Hadoop或Spark）来并行处理查找请求。
• 此外，如果数据范围有限且密集，可以使用位图法来节省空间，因为每个数只需要一个bit来表示。但位图法需要预先将数据加载到位图中，适合数据范围较小的场景。
• 对于频繁查找的场景，可以考虑使用缓存或预处理（如建立索引）来优化查找效率。

AQ

公司对这个岗位的期待是什么，您认为我和这个期待还有哪些差距