中文维基百科文本数据获取与预处理

照例，先讲下环境，Mac OSX 10.11.2 ，Python 3.4.3。下载数据方法1：使用官方dump的xml数据最新打包的中文文档下载地址是：https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 。方法2：也是官方，结构化数据（json）下载地址是：https:

业界 2016年05月09日

AI阅读理解技术：有可能成为人类帮手？

阅读理解能力是人类智能中最关键的能力之一，AI阅读理解技术有着十分广泛的应用前景，可能那还很远，也可能很近，但比起超越人类，AI应该更有可能成为人类帮手。“三长一短选最短, 三短一长选最长,参差不齐C无敌。”还记得上学期间流传在“学渣们”之间的所谓阅读理解的“做题法宝”吗？当然，这只是学渣们给自己的心理安慰。阅读理解作为一道考察学生理解能力、思辨能力的题型，绝不仅仅是一道口

业界 2018年01月24日

人工智能之自然语言处理初探

最近在梳理人工智能的一个细分领域自然语言处理相关知识点。随着查阅的资料越来越多，在梳理的过程中，也越来越发现自己的无知。虽然自然语言处理是人工智能的一个细分领

AI人工智能 2023年07月24日

产品经理视角下的自然语言处理

一、名词解释1. 语音交互“三驾马车”1）ASR语音自动识别，把外界的声音转写成文字，相当于人类的耳朵。2）NLP分为NLU和NLG两部分， NLU负

产品经理 2023年07月25日

学习AI大模型的3件事你必须知道，业内知识，速看

你是否遇过这种情况？想搜索一个问题，搜索出来的答案乱七八糟？特别是防不胜防的广告！严重干扰了我们的判断？有了AI之后，你只需要输入想要搜索的问题，比如搜索“小米苏7是否值得买？他的配置如何？”这样一个

产品经理 2024年08月19日

Rag系统的发展历程，从朴素、高级到模块化

前段时间，风叔发表了《聊聊炙手可热的Rag：产生原因、基本原理与实施路径》，有读者反馈希望多讲讲Rag系统现存的问题和优化方案，今天风叔就来谈谈这个话题。从2020年Meta AI 的研究人员提出检索

AI人工智能 2024年08月22日

AI通识（一）

一、什么是AI人工智能（Artificial Intelligence，简称AI）是计算机科学的一个分支，致力于创建能够执行通常需要人类智能才能完成的任务的系统。这些任务包括但不限于感知、推理、学习、

产品经理 2024年08月22日

产品经理需要知道的AI相关基础知识（一）

除了前面提到的AI的发展阶段以及商业应用。面对AI技术相关也是需要了解到的。一、什么是大语言模型大语言模型是自然语言处理领域的一个突破性技术，它让机器能够更好地理解和生成人类语言。从智能助手到高级翻译

产品经理 2024年08月27日

产品经理的AI基础，通俗理解 ChatGPT 的含义

本文为产品经理提供一些更易懂的chatGPT含义解释ChatGPT：Generative Pre-Training Transformer01 G：Generative 生成式生成式，在这里指的是生成

产品经理 2024年09月09日

产品经理需要知道的AI相关知识（二）

一、什么是RAGRAG，即检索增强生成（Retrieval-Augmented Generation）的缩写，是当前大语言模型应用落地的一项关键技术。它通过将检索模型和生成模型结合在一起，提高了生成内

产品经理 2024年09月09日