向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
广西德保:以文化之韵赋能乡村振兴******
乡村振兴,文化为魂。近年来,德保县聚焦乡村振兴与文旅融合,把文旅融合作为实施乡村振兴战略的重要抓手,注重民族文化的挖掘与传承,下大力气打造民族文化特色品牌,深入挖掘本地传统文化,聚焦产业振兴、文化振兴、生态振兴,注重以文惠民、以文兴业、以文塑旅,加强文化和旅游人才队伍建设,优化乡村文化旅游公共服务,因地制宜发展新产业新业态,以源远流长的乡村文化,为乡村振兴提供了文化资源与精神动力,为乡村振兴赋能聚力,绘就了一幅“诗和远方”的美好画卷。
以文惠民
夯实公共文化基础助力乡村振兴
德保以人民群众需求为导向,常年开展文化进万家暨戏曲进乡村文艺巡演活动、党史学习教育“百场文艺演出大家赏”活动等群众喜闻乐见的文化活动,通过“送戏下乡”丰富群众精神文化生活。此外,依托南路壮剧、德保壮族山歌、壮族舞蹈等,创作了一批高质量且接地气的舞台艺术作品,每年下基层开展文艺演出。目前全县共有专业剧团1个、业余剧团48个,传统剧目15本,有古壮字(土俗字)抄本150本、创作剧目52本,专业剧团每年演出100多场次、业余团队每年每团演出450场左右。
同时,德保把公共服务嫁接到老百姓的日常生活当中,配备了文化专管员队伍,主要负责村级公共服务中心的日常管理、图书室图书管理和分类及读书活动开展、文物保护及非物质文化遗产发掘与保护等工作,着力提升公共文化服务水平。目前,全县已建成村级公共服务中心186个,服务中心各配备一名公共文化专管员,12个乡(镇)文化站均配备一名专职管理人员和一名文化协管员,确保各类文化体育活动正常开展。
近年来,德保加强文化志愿服务队伍建设,通过开展“三区”人才文化志愿者的招募工作,共招募文化志愿者约30人/次。同时针对各个定点服务村制定文化服务“菜单”,开展广场舞、南路壮剧培训演出、民间民俗活动等。2021年累计开展各类文化服务工作240次,服务基层群众约7000人/次。
同时,通过举办“文化和自然遗产日”主题展示活动,传承弘扬民族传统文化。积极开展非遗进景区、非遗进乡村等活动,丰富乡村旅游的文化内涵。目前建成德保县马骨胡艺术传习基地、南路壮剧传习基地、麦秆花篮传习基地等5个非物质文化遗产展示传承基地,自治区级非物质文化遗产保护名录达10项。
壮家妇女展示土布技艺
以文兴业
转文化资源优势为产业发展动力
近年来,德保县充分挖掘乡村文化底蕴,深挖源远流长的文化资源,以丰富的乡村文化资源为载体,对接产业发展、品牌培育等需要,寻求机遇、寻求产业兴旺的新路子,形成乡村特色文化产业,着力绘制生态环境美丽、生活富足、人民群众获得感提升的美好图景,助力乡村振兴。
在历史长河中,德保矮马一直是皇室贡品,同时德保矮马的历史与多位历史名人相连。德保以实施乡村振兴战略为契机,融合矮马文化、乡土民俗等特色文化,投资11亿元打造矮马王国项目,开发各类旅游产品及文创商品,开展亲子体验、社会实践、主题营地、户外拓展等研学旅游活动,为游客提供独特的文旅体验,培育矮马产业新的经济增长点。此外,德保矮马王国在园区内建立德保矮马博物馆,展示德保矮马的起源、历史、发展进程,重点展示德保矮马与名人的故事,体现德保矮马文化,向社会展示德保矮马,提高德保矮马品牌影响力。2020年因受疫情影响,景区游客接待以区内游客为主。景区自2020年7月正式开业运营以来共接待游客9.9万人次,收入合计630万余元。
2019年,德保县荣获“广西马骨胡艺术之乡”称号,并以此为契机深入实施打造马骨胡艺术保护传承基地、培育壮大人才队伍、倾情发展打造马骨胡文化产业品牌,全面推进文化和旅游融合开发,深化民族团结进步教育,引导各族群众提升互学互鉴、共谋振兴发展的内生动力,奏响人民群众的幸福曲。成立少儿马骨胡培训基地、马骨胡艺术中心、马骨胡协会,建立了“中心+基地+传承人”的非遗传承保护体系,常态化开展非遗进校园、进社区、进景区、进农村等活动,推动马骨胡文化传承与发展。
此外,该县通过实施建设一个中心、打造一个基地、出版一本教材、培育一支队伍、发展一大产业“五个一工程”,倾力打造壮族马骨胡文化品牌。目前,全县马骨胡艺人有166人,最小的10岁,最年长的70岁,学习者几乎覆盖各个年龄层。
德保矮马马术方阵
以文塑旅
以文化资源创建全域旅游示范区
在推动文旅融合高质量发展过程中,德保县不断探索工作新思路、新模式,注重优势文化资源与旅游融合发展,以文促旅,以旅彰文,不断丰富旅游业态,延伸旅游产业链,丰富文旅新业态新体验,为乡村振兴赋能助力。
德保县那温村按照乡村振兴总体规划,以发展乡村文化旅游为切入点,先后荣获“第三批中国少数民族特色村寨”“全国乡村治理示范点”“民族团结进步示范村”“全区农业农村休闲旅游示范点”“五星级乡村旅游景点”“广西十大最美乡村”、全国“一村一品”示范村等称号。
那温村注重以德养村,传承传统文明文化底蕴。注重对道德文化的挖掘,该村围绕“温”字深挖文化潜动力,概括出温毅、温俭、温信、温厚“四温”精神,打造60米那温文化墙宣传那温文化,通过开展最美脱贫户、最美致富带头人、最美婆婆、最美媳妇、最美乡贤和优秀共产党员“五美一优”评选活动,寻找“最美那温人”,用“身边好人”的榜样力量感召引领,促进那温文明和谐发展。
此外,那温村民俗风情丰富,山歌对唱、“二月二”龙头节、手工舂糍粑等民俗活动长期保存,那温屯草编、藤编等民俗产品小负盛名。通过新建戏台、民族文化广场、农家读书角、篮球场,绘制具有民俗风情的墙绘,借助传统节日组织群众开展跳竹竿舞、篮球比赛、垂钓比赛、舂糍粑、蒸五色糯米饭等互动性强的文娱活动,让一幅幅美丽的乡村画卷映入眼帘。具有特色的墙体绘画与民居整体颜色土黄色的外墙紧密融合,加上极具民俗特色的文娱活动,不但持续提升村庄文化氛围、文化品位,还充分展现出新时代乡村的新风貌,形成了乡村旅游助推村民增收致富、助力乡风文明的发展新气象。
德保冬无严寒、夏无酷暑,气候宜人,环境宜居。近年来,德保县依托得天独厚的资源禀赋和区位优势,大力实施“旅游旺县”战略,坚持把文旅产业作为主导性产业精心培育,积极融入广西全域旅游示范区创建工作大格局,文化旅游产业转型升级明显加快,旅游品牌持续提升,逐渐形成旅游业引领多行业发展新格局。县城半径10公里范围内环绕着4个国家AAAA级旅游景区、1个国家水利风景区、1个全国乡村旅游重点村。德保县还先后荣获“中国优秀生态旅游县”“中国最具魅力文化旅游百强县”“中国十佳生态休闲文化旅游县”“中国十佳最具投资潜力旅游县”“中国最具特色乡村旅游目的地”“中国气候宜居城市”“国家园林城市”“国家卫生县城”、2020年“广西避暑旅游城市”等荣誉称号。 (本文图片由德保县委宣传部提供)(莫超驿 黄小丽)