技术成熟度及其识别方法研究

技术成熟度及其识别方法研究*

王立学1,2 冷伏海1 王海霞1

(1. 中国科学院国家科学图书馆,北京 100190;2. 中国科学院研究生院,北京 100049)

[摘要] 对技术成熟度的概念和起源进行简介,区分其与技术生命周期等相近的概念;重点研

究美国航天局制定的技术成熟度体系,介绍其特征描述、研究框架并讨论应用价值、评估工具和应用局限性;最后简要探讨浅语义分析和共词分析两种方法在识别技术成熟度方面的可能性。

[关键词] 技术成熟度 科研管理 技术成熟度评估 共词分析 数据库内容结构分析

[分类号] G35

Research on Technology Readiness Level and Identified Methods

Wang Lixue1,2 Leng Fuhai1 Wang Haixia1

(1. National Science Library, Chinese Academy of Sciences, Beijing 100190;

2. Graduate University of Chinese Academy of Sciences, Beijing 100049)

[Abstract] This paper introduces the concepts and origins of Technology Readiness Levels(TRL) briefly at first, following with some differentiation of related concepts, like technology life cycle; then, much emphasis is put on the widely adopted NASA TRL system, on its characteristics description and research framework, as well as on its applied values, assessment tools and limitation of applications; at the end, two methods, latent semantic indexing and co-word analysis, are carefully examined on the probability of identification of TRLs.

[Keywords] Technology Readiness Level;R&D Management;Technology Readiness Assessment;Co-word Analysis;Database Tomography

一般情况下,科学技术研发项目可能都会面临性能目标、进度和预算三个方面的挑战。如何清楚而可信地审查技术的研发情况并预测技术风险?在制定面向未来的科学技术发展战略规划时,怎样才能科学而合理地制定出各项技术的发展路线?上述问题的解答或许都需要评估技术的成熟水平。全面、客观而及时地了解技术的成熟水平,有助于科研项目管理者掌握研发的现状,预估与研发目标的差距和研发风险,更有助于各项技术规划的科学制定。 然而,技术成熟水平的评估长期以来多是采用专家评审的方式,评价含糊而且容易受部门利益或个人偏见的影响,缺乏规范而客观的评价标准,难以有效支撑决策。为此,美国、英国、法国、日本等国家针对技术成熟水平的评估标准,开展了多项相关的研究工作。其中,影响最大的研究成果是美国航天局(NASA)开发的技术成熟度体系。如今,该体系已经广泛应用在各类技术研发项目管理的立项、评审和决策等环节中,并已经被越来越广泛地接受。 * 本文是国家自然科学基金项目“科技创新演化循证分析理论与方法研究”(编号:70873123)的研究成果。

1 技术成熟度的概念

技术成熟度(Technology Readiness Levels,TRL),又译作“技术完备等级”、“技术准备度”,指单项技术或技术系统在研发过程所达到的一般性可用程度。其起源最早可以追溯到

[2]1969年,1974年,当时美国NASA明确提出了要开发技术成熟等级评估工具的设想。在NASA

[3]工作的Sadin首次提出了7级的“技术成熟度”体系;1989年,NASA将原有7级体系扩展

[2][4]到9级;1995年,NASA的Mankins起草并发布了第一份综合性文档:《TRL白皮书》。[1]在上述报告中,TRL被分为9级,用于评估正处于演进过程中的技术(材料、组件、设备等)

2000年,的成熟状况,以确定是否能够应用在未来的系统或子系统中。此后,美国国防部(DOD)

接受了美国国家审计总署(GAO)的建议,正式采纳NASA的TRL体系用于评估并改进技术

[5]研发的质量,随后又为其使用开发了详细的指导文档。2005-2006年间,标准版本的TRL体系已在包括英国、法国和日本等国家在内的全球范围内获得认可。总的来说,TRL已经被证

[2]明是一种在不同机构间传递有关新技术状态的非常有效的参数。

需要特别说明的是,技术或技术系统的成熟和发展,几乎都会经历概念提出、原理证明、实验室演示、应用环境证明等阶段,因此,这里有必要区分一下TRL与技术生命周期、技术演化和TRIZ技术进化等相近的概念。

①技术生命周期。技术生命周期论将技术视为具有自身生命循环和向外转移倾向的可买卖的商品,主要从技术本身经济寿命的角度来分析技术的发展历程。技术生命周期有多种表现形式,其中一种表现技术可用性随时间变化的形式是鲸鱼图(Whale Chart)。技术生命周期、项目研发阶段和对应的TRL等级之间的关系如图1所示,很明显,TRL体系关注的是技术生命周期的最初阶段。

[7][6]

图1 技术生命周期与TRL以及技术项目研究阶段的对应关系

②技术演化论。演化经济学派以普适的达尔文主义世界观审视技术现象,将其看作某种底层基因(如技术知识)限制的表型,并用进化论、产品生命周期理论和熊彼特的创新理论

[8]等来分析技术演化,其研究与从技术本身出发开展的成熟状态评估有很大的区别。

TRIZ通过对现有技术水平以及现有产品的分析,③TRIZ进化模式。确定了技术系统进化

的八种模式,如第一种模式提到:技术系统都要经历产生、成长、成熟、退出的进化路线。遵循这些模式,可能会先于竞争对手开发出技术专利,但却无法用于科技研发项目的评估和风险控制。

对比来看,TRL体系可以看作是技术生命周期的早期阶段,而与经济学领域的技术演化、专利领域的TRIZ发明创造理论等概念并不相同。

2 技术成熟度等级及其应用

1974年,NASA的Sadin开发的技术成熟度体系只有7个等级,基本对应现行9个等级中的前7个。进入二十一世纪之后,美国DOD、DOE、导弹防御局(MDA)以及欧洲航天局(ESA)、法国宇航中心、日本宇航局等著名机构结合技术项目管理的实际需求,纷纷制定了自己的TRL评估体系。各个机构都主要以NASA 1995年《TRL白皮书》中的等级划分和定义为基础,多数只是经过了少量描述上的修改,但有的却进行了扩展和引申。 [9]

2.1 NASA的TRL体系

NASA现行的9级技术成熟度划分涵盖了基础研究阶段的技按照技术研发所达到的状态,

术概念或应用方案形成、实验室研究阶段的原型验证以及各种环境下的系统演示等各个环节。随着TRL的提高,技术项目将经历从“纯研究”到“纯开发”的发展过程。在TRL框架下,技术研发可以从不同的角度来划分成多个阶段。从科研项目管理的角度来看,TRL体系可以分为基础技术研究、可行性证明、技术研发、技术演示、系统测试和运行等阶段;而从技术研发的角度来看,则可以分为基础研究、原理样机、系统演示、定型实验等阶段。NASA定义的TRL体系的框架、特征描述及研究阶段对应关系见表 1。ESA定义的TRL体系与NASA的基本一致,此处不做重复介绍。

表 1 NASA TRL的框架、特征及对应的研发阶段

具体说来,NASA的TRL评估体系的各级特征描述是[10]:

TRL 1:纯粹的科学研究或是刚开始转向应用研究,可能不提出具体技术问题。一般限于对技术基本性质的理论研究,如新一代武器应干些什么?

TRL 2:基于已发现的基本原理确定或发明出实际应用,可能是没有实验证明的理论或推测性假设,如高温超导材料或可以用于望远镜传感器。

TRL 3:将技术置于应用背景中,从物理机理上验证各独立技术要素的理论预测,或者得到一些尚未集成的或只表现出有限性能的部件。例如,由高能密度物质推进系统的温度/压力关系得出超冷氧可作为推进剂。

TRL 4:集成基本技术部件构成联合工作组件或子系统,验证概念设计的性能,但可信度较低。组件可能是实验室中集成的硬件,也可能是实验室中的软件构成的系统。为项目立项而进行的演示系统,一般要达到这一级别。

TRL 5:试验模型技术可信度明显增大。基本技术组件与已有支持组件合理地集成,还可能会包含一项或多项新技术,在模拟或某种程度上真实的环境下验证。

TRL 6:有代表性的模型或原型系统在在高可信度的实验室或模拟性使用环境下完成测试和演示。演示验证的可能是未来的一种实际系统,也可能是采用同样技术的类似应用。通过TRL 6意味着技术研发已经能够有效规避风险。

TRL 7:应用原型已接近或达到预期应用系统的性能。一般情况下,为了确保系统工程和开发管理的可信度,风险较高的关键技术或子系统还会被要求达到TRL 7,但不是所有子系统中的各项技术都要求达到此级别。

TRL 8:证明了技术能在预期环境中以最终形式工作。这标志着“基本型”或第一代产品已经完成,绝大多数情况下,这意味着实际系统开发的结束。

TRL 9:技术以其最终形式在任务条件下得到实际应用。绝大多数情况下,TRL 9是实际系统研制中最后一次“故障修复”,不排除集成新技术到现有系统的可能性,但不会再有任何的系统扩展或升级。

粗略地说,TRL 1~3级对应于基础概念层面的技术开发,其后各级则表达设计应用的成熟性。在基础概念开发的阶段,第1级代表基础研究,第3级是一个关键点。在第3级中,技术的关键功能和特征需要得到理论上或试验上的初步证明。第4、5级之间的差别代表了从实验室到“真实世界”实验验证的转换。从TRL 5往上,原型或模型的试验验证将越来越接近生产的级别(TRL 8)。达到TRL 9,就可以投入生产和部署。

2.2 其他有特点的TRL体系

⑴DOD的TRL体系

除了NASA之外,DOD也立足于自己的应用环境制定了国防采办的TRL体系,用作度量和交流采办项目技术成熟性的一种结构化方法。其TRL体系也分为9个等级,独特之处在于该体系还划分了18种技术进展状态,各个状态都对应着某一TRL等级(详见DOD 5000.2 R的附录6) 。更加细化的技术状态描述,有利于更加明确地将技术的成熟度情况“对号入座”。[12]

⑵DARPA的TRL定义

作为美国著名的新技术研究开发中心,美国国防预研项目署(DARPA)也开发了自己的

技术成熟度体系。DARPA的技术成熟度体系分为8级。不过,其“技术”的涵义甚广,不但包括应用性、风险和设计,还包括装配、制造、材料及知识产权等;其评估也没有局限在纯技术层面,而是结合了结构成熟度、材料成熟度、制造成熟度、成本收益成熟度等多个维度的成熟度指标[12]。

2008年,我国航天科技五院的专家朱毅麟在参考美国国防采办中使用的TRL体系,结合我国空间企业的预先研究与技术开发实际,也提出了我国空间技术领域的9级技术成熟度划分建议[12]。另外,加拿大国防部也基于NASA TRL开发了自己的技术成熟度体系(TML)。除了上述航天、军事等机构制定和使用TRL之外,还有许多其他领域的机构效仿TRL分级评估的做法。如,美国生物医学预研和发展管理局(BARDA)开发了适用于医疗领域的TRL体

[13]系,其用于应对化学威胁的医疗措施的TRL体系分为13个等级。因此,TRL的概念超越

了其最早的航天技术领域,现已在科学研究、项目管理、医疗措施等社会各领域发挥着作用。

2.3 TRL体系的应用

TRL能够应用在科研项目的立项论证、转阶段评审、检查验收等一系列管理环节中,有助于准确地把握技术的状态,科学地管理技术研发和转型。对于一个科研项目来说,TRL评估的结果至少可以获得三个方面的重要信息[14]:一是项目的技术组成,这是开展TRL评估的前提;二是技术储备,即哪些技术是成熟的或基本成熟的;三是项目的技术风险,若需要新开发或继续开发的技术比较少,则风险可能会比较小。

显而易见,如果技术的TRL等级太低,则该项目就很可能要承担进度拖延或成本超支等风险。事实上,美国GAO在其最近几年的审计报告中也一再指出:在DOD对航天项目的采办中,低技术成熟度的组件和子系统是导致项目进度拖延的一个重要原因。美国空军已将TRL用作转阶段评审的依据,认为只有当技术达到TRL 7时才能够从技术开发阶段转入工程

[3]研制阶段,此时的项目风险比较低。因此,使用TRL进行技术项目管理,既能够直观地表[1]

示技术的状态,又能够有效地预判项目风险。

除了被直接用于评估之外,TRL体系还可以与其他指标结合来开发评估模型。如,美国

[15]陆军的Craver等人基于TRL开发的“技术项目管理模型”(TPMM)。该模型将与技术研

发和转型有关的复杂活动都集成在一起,并为技术研发和管理目标量身定做了系统工程和项目管理任务,能够协助技术管理者规划、管理和评估各种技术项目和技术转型。

2.4 TRL评估工具

在新系统和新技术开发的过程中,有许多节点都需要进行技术成熟度评估。例如:完成系统分析和概念设计研究时,选择设计选项时,开始全面技术研发时等。这些评估可能是研发团队内部的小范围事件,也可能是一个外部的、独立的同行评议过程。除了TRL之外,有效的评估还需要结合一些其他的度量,如:性能目标、技术成熟度和研发难度等。

在美国军方的武器装备采办中,DOD的项目管理者虽然已被要求使用TRL,但却缺少具体的使用指导。通常情况下,在采办评估中由采办方给出建议的技术项目表,由专家给出TRL分值,然后计算平均值或加权平均值,或者使用层次分析法加权归纳得到最终的分值[11][2]。为了便于专家评定技术项目的TRL级别,美国空军研究实验室的Nolte等人开发了专门的TRL

[9]计算器。

TRL计算器是一个微软Excel文档,其内容是围绕各级TRL设置的标准问题集,能够快速获得技术项目的TRL水平并以图形化的方式展现,最新版本是2.2。该工具从技术本身、制造/可生产性和文档完备情况等三个方面来度量技术成熟度,可以度量纯硬件、纯软件、硬件和软件等三种不同类型的技术。在该工具中,每一个TRL等级都被细化为涉及不同方面的若干个问题,允许用户回答所完成的百分比;随后,工具里的宏命令将首先检查上一级TRL的情况,再检查本级已回答问题的数量并利用百分比数值进行计算;最终,计算器给出一个整体的TRL等级,并以不同的颜色加以区分。

2.5 TRL的局限性

作为技术成熟的一种度量,TRL已经获得了政府机构和企业的广泛接受,但是,TRL用作一种衡量标准还存在着一些应用局限。首先,难以表达技术提升到更高TRL级别的研发难度和可能性,即未考虑新技术研发中未解决的研发障碍;第二,当具有多个子系统和组件的情况下,难以得出一个合适的技术成熟度等级;第三,还有其他一些技术类型不能用TRL来衡量,如:生物医学技术、实践型技术等。不过,TRL最突出的局限体现在只能度量技术的一个维度,而无法给出与技术有关的完整图景。技术的成熟性应该从多个维度来度量,有人曾经提到过16种不同的技术成熟维度,但TRL度量的仅仅是其中的1/16[16]。

为了弥补TRL体系的局限性,也为了更全面地评估技术研发项目,许多机构和学者开发了一些与TRL相关的度量指标。如:美国斯蒂文斯理工学院系统研发和成熟实验室(SDML)设计了集成成熟度(IRL),用于与TRL一起来确定系统成熟度(SRL)[17]。美国空军研究实验室设计了制造成熟度(MRL),最低的MRL对应于TRL 3,用于弥补TRL在体现可生产性方面的不足[16]。在我国,中国空间技术研究院编制了院级标准《航天器单机产品成熟度定级规定》[12]。由于TRL仅仅给出一个粗线条的技术成熟度等级划分标准,其推广应用还必须要有具体详细的评估方法,而这也是国外目前正在努力解决的问题。

3 技术成熟度的识别方法

随着系统化评估工具的开发和评估程序的规范,TRL等级评估已经能够让科研管理机构较为准确地估计促进技术成熟的时间和成本。但是,评估工作本身是一项富有挑战性的工作,首当其冲的问题就是评估的成本。这是因为,准确评估技术项目的TRL等级,常常需要高水平的领域技术专家参与,而且还要对专家进行评估方法的专门培训。为了降低评估成本、提高评估效率,有些研究者尝试着从文献计量的角度探索了自动识别TRL等级的可能性。

3.1 浅语义分析法

2008年,Britt等人基于浅语义索引构建了向量空间模型,通过探索文本文档内词语的潜在结构,对相似的技术描述文档进行聚类和分组[18]。然后,进一步比较组内各个文档的TRL等级,就能够找出TRL等级最高的解决方案。该研究采用了美国InRAD公司开发的技术评估和成熟度分析系统(TARAS)。系统有两个主要功能:识别出单个研究项目的TRL等级;通

过浅语义分析对文档进行聚类和分组,然后从文档子集中识别出TRL等级最高的文档。

需要说明的是,Britt等人所分析的技术描述报告中都包含专家们事先评定的TRL等级,并且大多数报告的字数平均都不超过50个单词。正因为具备了这两个条件,该研究才能够较为容易地在经过浅语义分析聚类的报告集中识别出具有最高TRL等级的报告,而且具有一定的特殊性。

3.2 共词分析法

从制定科技规划的实践来看,在制定科技发展路线图等科技发展战略规划时,如果能够明确每一种技术的成熟度等级,无疑能令规划工作变得轻松而高效。但事实上,这是一件很难的事情。不过,在难以掌握特定技术研发的具体状态时,明确其所处的研发阶段也能满足规划的需要。

为此,根据各个TRL等级的关键特征,可以将其按照技术研发的侧重点归结为以下四个具有明显特征的阶段:概念研究阶段(TRL 1 ~ 3),以基础性的概念研究和阐述、功能证明、实验室分析等为典型特征;部件或原型验证阶段(TRL 4 ~ 5),以研究性的实验室研发、组件验证、关键性能、原型验证等为典型特征;系统演示阶段(TRL 6 ~ 7),以系统性的组件集成、原型演示和系统/子系统演示为典型特征;产品评估阶段(TRL 8 ~ 9),以成型产品或系统的测试、运行和评估为典型特征。通过对SPIE数据库中“大功率半导体二极管”领域中部分技术文献的分析,我们发现:各阶段的描述都对应着一组较为明确的特征词,如表 2所示:

表 2 TRL对应的技术研发阶段

既然技术研发阶段与明确的特征词具有关联关系,那么利用共词分析从技术文献中识别研发阶段就存在着一定的可行性。为此,我们采用了美国Mitre公司的Kostoff所开发的“数

[19]DT)据库内容结构分析”(Database Tomography,方法来分析技术文献集,进行了初步尝试。

该方法的特点是在限定共现范围的前提下分析物理位置临近的技术短语,具体的分析流程及分析效果将另行撰文讨论。关于该方法的情况,可参阅文献[19, 20]。

4 结论与展望

自二十世纪七十年代中期NASA开发并使用以来,尤其是1995年Mankins起草并发布

《TRL白皮书》之后,从航天机构到国防机构,从美国到世界各国,从科研机构到企业,甚至从纯技术领域延伸到设计、制造等领域,技术成熟度的概念得到了非常广泛的传播和应用。发展到现在,技术成熟度体系已经有了多种不同的定义和描述,也已经出现了TRL计算器之类的评估工具。

对于我国科技研发机构和高科技制造企业来说,积极借鉴和开发适合自身情况的技术成熟度体系已经具备了足够的条件和参考经验。同时,为了满足科研管理对TRL等级评估的要求,一些学者正在积极地探索从文献分析的角度对其加以识别的可行性和效果。相信随着研究的深入,TRL等级的评估和识别都会变得更加高效和准确。不过,也应该看到,TRL体系仅仅是技术成熟度评估中的一个维度,要想全面地掌握技术的成熟状态,还必须辅之以制造成熟度等其他考察维度。总的说来,技术成熟度(TRL)是一个管理和交流技术研发状态及风险的有效工具,值得深入研究和应用。

【参考文献】

1.

2.

3.

4.

5.

6.

7.

8.

9. 朱毅麟.技术成熟度对航天器研制进度的影响[J].航天器工程,2009,18(2):9. John Mankins. Technology readiness assessments: A retrospective[J]. Acta Astronautica, 2009,65:1216–1223. Wikipedia.Technology Readiness Levels[EB/OL]. [2010-01-03]. http://en.wikipedia.org/wiki/Technology_Readiness_Levels. John Mankins. Technology readiness levels: A White Paper[R]. Washington, DC: NASA, 1995. General Accounting Office. BEST PRACTICES: Better Management of Technology Development Can Improve Weapon System Outcomes[R]. Washington, DC: GAO, 1999. Michael Harvey. Application of Technology Life Cycles to Technology Transfers[J]. Journal of Business Strategy, 1984,5(2):51-58. Bill Nolte. Technology Life Cycle[R/OL]. Wright Patterson: Air Force Research Laboratory, 2006 [2010-01-08].http://handle.dtic.mil/100.2/ADA509619. 杨勇华. 从技术知识观到技术演化观: 一种新的分析范式[J].科技进步与对策, 2007, 24(10): 107-108. William L. Nolte. Technology Readiness Level Calculator[EB/OL]. Assessing Technology Readiness &

Development Seminar, 2005. [2010-01-08].

http://www.aero.org/conferences/documents/TRLCalcBrief28Apr05_NOLTE.ppt.

Definitions of TRLs for Components and Subsystems/Systems[EB/OL]. [2010-01-08].

http://files.harc.edu/Projects/BlueWater/TRLDefinitions.pdf.

钱东,崔立,肖昌美. 技术成熟度评估方法及其在水下战装备上的应用[J]. 鱼雷技术, 2006, 14(1): 1-7. 朱毅麟.开展技术成熟度研究[J]. 航天标准化,2008,(2):13-14.

Technology Readiness Levels (TRL) of Medical Countermeasures for Chemical Threats [EB/OL].

[2010-01-08]. http://www.hhs.gov/aspr/barda/documents/draft_trls_chem_mcm2007-08-06.pdf.

安茂春,王志健.国外技术成熟度评价方法及其应用[J].评价与管理,2008,6(2):1-3.

Jeff Craver, Mike Ellis. Technology Program Management Model: Executive Overview [EB/OL]. 2007-08-29

[2010-01-08]. https://acc.dau.mil/CommunityBrowser.aspx?id=168200&lang=en-US.

William L. Nolte. MRL Background[EB/OL]. 2004-04-29 [2010-01-08]. http://TRL_caculator_address.

Brian Sauser, et al. A Systems Approach to Expanding the Technology Readiness Level within Defense

Acquisition[J]. International Journal of Defense Acquisition Management, 2008,1:39-58.

Barry Britt, et al. Document classification techniques for automated technology readiness level analysis[J]. JASIST, 2008,59(4):675-680.

冯璐,冷伏海.共词分析方法理论进展[J].中国图书馆学报,2006,32(2):88-92.

赵凡,马胜利.数据库内容结构分析法的理论与实践进展研究[J].情报理论与实践, 2008,31(2): 279-282. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20.

【作者简介】

王立学,男,1981年生,中国科学院国家科学图书馆 博士研究生;专业方向:科技信息分析;

email:[email protected]

冷伏海,男,1963年生,中国科学院国家科学图书馆 研究员、博士生导师;主要研究方向:

科技信息分析;email:[email protected]

王海霞,女,1979年生,中国科学院国家科学图书馆 助理研究员,博士;主要研究方向:空

间光电领域情报研究;email:[email protected]

联系人:冷伏海 电话:010-62538705;[1**********];email:[email protected] 或 者:王立学 电话:[1**********];email:[email protected]

通信地址:北京中关村北四环西路33号 中国科学院国家科学图书馆

邮编:100190

技术成熟度及其识别方法研究*

王立学1,2 冷伏海1 王海霞1

(1. 中国科学院国家科学图书馆,北京 100190;2. 中国科学院研究生院,北京 100049)

[摘要] 对技术成熟度的概念和起源进行简介,区分其与技术生命周期等相近的概念;重点研

究美国航天局制定的技术成熟度体系,介绍其特征描述、研究框架并讨论应用价值、评估工具和应用局限性;最后简要探讨浅语义分析和共词分析两种方法在识别技术成熟度方面的可能性。

[关键词] 技术成熟度 科研管理 技术成熟度评估 共词分析 数据库内容结构分析

[分类号] G35

Research on Technology Readiness Level and Identified Methods

Wang Lixue1,2 Leng Fuhai1 Wang Haixia1

(1. National Science Library, Chinese Academy of Sciences, Beijing 100190;

2. Graduate University of Chinese Academy of Sciences, Beijing 100049)

[Abstract] This paper introduces the concepts and origins of Technology Readiness Levels(TRL) briefly at first, following with some differentiation of related concepts, like technology life cycle; then, much emphasis is put on the widely adopted NASA TRL system, on its characteristics description and research framework, as well as on its applied values, assessment tools and limitation of applications; at the end, two methods, latent semantic indexing and co-word analysis, are carefully examined on the probability of identification of TRLs.

[Keywords] Technology Readiness Level;R&D Management;Technology Readiness Assessment;Co-word Analysis;Database Tomography

一般情况下,科学技术研发项目可能都会面临性能目标、进度和预算三个方面的挑战。如何清楚而可信地审查技术的研发情况并预测技术风险?在制定面向未来的科学技术发展战略规划时,怎样才能科学而合理地制定出各项技术的发展路线?上述问题的解答或许都需要评估技术的成熟水平。全面、客观而及时地了解技术的成熟水平,有助于科研项目管理者掌握研发的现状,预估与研发目标的差距和研发风险,更有助于各项技术规划的科学制定。 然而,技术成熟水平的评估长期以来多是采用专家评审的方式,评价含糊而且容易受部门利益或个人偏见的影响,缺乏规范而客观的评价标准,难以有效支撑决策。为此,美国、英国、法国、日本等国家针对技术成熟水平的评估标准,开展了多项相关的研究工作。其中,影响最大的研究成果是美国航天局(NASA)开发的技术成熟度体系。如今,该体系已经广泛应用在各类技术研发项目管理的立项、评审和决策等环节中,并已经被越来越广泛地接受。 * 本文是国家自然科学基金项目“科技创新演化循证分析理论与方法研究”(编号:70873123)的研究成果。

1 技术成熟度的概念

技术成熟度(Technology Readiness Levels,TRL),又译作“技术完备等级”、“技术准备度”,指单项技术或技术系统在研发过程所达到的一般性可用程度。其起源最早可以追溯到

[2]1969年,1974年,当时美国NASA明确提出了要开发技术成熟等级评估工具的设想。在NASA

[3]工作的Sadin首次提出了7级的“技术成熟度”体系;1989年,NASA将原有7级体系扩展

[2][4]到9级;1995年,NASA的Mankins起草并发布了第一份综合性文档:《TRL白皮书》。[1]在上述报告中,TRL被分为9级,用于评估正处于演进过程中的技术(材料、组件、设备等)

2000年,的成熟状况,以确定是否能够应用在未来的系统或子系统中。此后,美国国防部(DOD)

接受了美国国家审计总署(GAO)的建议,正式采纳NASA的TRL体系用于评估并改进技术

[5]研发的质量,随后又为其使用开发了详细的指导文档。2005-2006年间,标准版本的TRL体系已在包括英国、法国和日本等国家在内的全球范围内获得认可。总的来说,TRL已经被证

[2]明是一种在不同机构间传递有关新技术状态的非常有效的参数。

需要特别说明的是,技术或技术系统的成熟和发展,几乎都会经历概念提出、原理证明、实验室演示、应用环境证明等阶段,因此,这里有必要区分一下TRL与技术生命周期、技术演化和TRIZ技术进化等相近的概念。

①技术生命周期。技术生命周期论将技术视为具有自身生命循环和向外转移倾向的可买卖的商品,主要从技术本身经济寿命的角度来分析技术的发展历程。技术生命周期有多种表现形式,其中一种表现技术可用性随时间变化的形式是鲸鱼图(Whale Chart)。技术生命周期、项目研发阶段和对应的TRL等级之间的关系如图1所示,很明显,TRL体系关注的是技术生命周期的最初阶段。

[7][6]

图1 技术生命周期与TRL以及技术项目研究阶段的对应关系

②技术演化论。演化经济学派以普适的达尔文主义世界观审视技术现象,将其看作某种底层基因(如技术知识)限制的表型,并用进化论、产品生命周期理论和熊彼特的创新理论

[8]等来分析技术演化,其研究与从技术本身出发开展的成熟状态评估有很大的区别。

TRIZ通过对现有技术水平以及现有产品的分析,③TRIZ进化模式。确定了技术系统进化

的八种模式,如第一种模式提到:技术系统都要经历产生、成长、成熟、退出的进化路线。遵循这些模式,可能会先于竞争对手开发出技术专利,但却无法用于科技研发项目的评估和风险控制。

对比来看,TRL体系可以看作是技术生命周期的早期阶段,而与经济学领域的技术演化、专利领域的TRIZ发明创造理论等概念并不相同。

2 技术成熟度等级及其应用

1974年,NASA的Sadin开发的技术成熟度体系只有7个等级,基本对应现行9个等级中的前7个。进入二十一世纪之后,美国DOD、DOE、导弹防御局(MDA)以及欧洲航天局(ESA)、法国宇航中心、日本宇航局等著名机构结合技术项目管理的实际需求,纷纷制定了自己的TRL评估体系。各个机构都主要以NASA 1995年《TRL白皮书》中的等级划分和定义为基础,多数只是经过了少量描述上的修改,但有的却进行了扩展和引申。 [9]

2.1 NASA的TRL体系

NASA现行的9级技术成熟度划分涵盖了基础研究阶段的技按照技术研发所达到的状态,

术概念或应用方案形成、实验室研究阶段的原型验证以及各种环境下的系统演示等各个环节。随着TRL的提高,技术项目将经历从“纯研究”到“纯开发”的发展过程。在TRL框架下,技术研发可以从不同的角度来划分成多个阶段。从科研项目管理的角度来看,TRL体系可以分为基础技术研究、可行性证明、技术研发、技术演示、系统测试和运行等阶段;而从技术研发的角度来看,则可以分为基础研究、原理样机、系统演示、定型实验等阶段。NASA定义的TRL体系的框架、特征描述及研究阶段对应关系见表 1。ESA定义的TRL体系与NASA的基本一致,此处不做重复介绍。

表 1 NASA TRL的框架、特征及对应的研发阶段

具体说来,NASA的TRL评估体系的各级特征描述是[10]:

TRL 1:纯粹的科学研究或是刚开始转向应用研究,可能不提出具体技术问题。一般限于对技术基本性质的理论研究,如新一代武器应干些什么?

TRL 2:基于已发现的基本原理确定或发明出实际应用,可能是没有实验证明的理论或推测性假设,如高温超导材料或可以用于望远镜传感器。

TRL 3:将技术置于应用背景中,从物理机理上验证各独立技术要素的理论预测,或者得到一些尚未集成的或只表现出有限性能的部件。例如,由高能密度物质推进系统的温度/压力关系得出超冷氧可作为推进剂。

TRL 4:集成基本技术部件构成联合工作组件或子系统,验证概念设计的性能,但可信度较低。组件可能是实验室中集成的硬件,也可能是实验室中的软件构成的系统。为项目立项而进行的演示系统,一般要达到这一级别。

TRL 5:试验模型技术可信度明显增大。基本技术组件与已有支持组件合理地集成,还可能会包含一项或多项新技术,在模拟或某种程度上真实的环境下验证。

TRL 6:有代表性的模型或原型系统在在高可信度的实验室或模拟性使用环境下完成测试和演示。演示验证的可能是未来的一种实际系统,也可能是采用同样技术的类似应用。通过TRL 6意味着技术研发已经能够有效规避风险。

TRL 7:应用原型已接近或达到预期应用系统的性能。一般情况下,为了确保系统工程和开发管理的可信度,风险较高的关键技术或子系统还会被要求达到TRL 7,但不是所有子系统中的各项技术都要求达到此级别。

TRL 8:证明了技术能在预期环境中以最终形式工作。这标志着“基本型”或第一代产品已经完成,绝大多数情况下,这意味着实际系统开发的结束。

TRL 9:技术以其最终形式在任务条件下得到实际应用。绝大多数情况下,TRL 9是实际系统研制中最后一次“故障修复”,不排除集成新技术到现有系统的可能性,但不会再有任何的系统扩展或升级。

粗略地说,TRL 1~3级对应于基础概念层面的技术开发,其后各级则表达设计应用的成熟性。在基础概念开发的阶段,第1级代表基础研究,第3级是一个关键点。在第3级中,技术的关键功能和特征需要得到理论上或试验上的初步证明。第4、5级之间的差别代表了从实验室到“真实世界”实验验证的转换。从TRL 5往上,原型或模型的试验验证将越来越接近生产的级别(TRL 8)。达到TRL 9,就可以投入生产和部署。

2.2 其他有特点的TRL体系

⑴DOD的TRL体系

除了NASA之外,DOD也立足于自己的应用环境制定了国防采办的TRL体系,用作度量和交流采办项目技术成熟性的一种结构化方法。其TRL体系也分为9个等级,独特之处在于该体系还划分了18种技术进展状态,各个状态都对应着某一TRL等级(详见DOD 5000.2 R的附录6) 。更加细化的技术状态描述,有利于更加明确地将技术的成熟度情况“对号入座”。[12]

⑵DARPA的TRL定义

作为美国著名的新技术研究开发中心,美国国防预研项目署(DARPA)也开发了自己的

技术成熟度体系。DARPA的技术成熟度体系分为8级。不过,其“技术”的涵义甚广,不但包括应用性、风险和设计,还包括装配、制造、材料及知识产权等;其评估也没有局限在纯技术层面,而是结合了结构成熟度、材料成熟度、制造成熟度、成本收益成熟度等多个维度的成熟度指标[12]。

2008年,我国航天科技五院的专家朱毅麟在参考美国国防采办中使用的TRL体系,结合我国空间企业的预先研究与技术开发实际,也提出了我国空间技术领域的9级技术成熟度划分建议[12]。另外,加拿大国防部也基于NASA TRL开发了自己的技术成熟度体系(TML)。除了上述航天、军事等机构制定和使用TRL之外,还有许多其他领域的机构效仿TRL分级评估的做法。如,美国生物医学预研和发展管理局(BARDA)开发了适用于医疗领域的TRL体

[13]系,其用于应对化学威胁的医疗措施的TRL体系分为13个等级。因此,TRL的概念超越

了其最早的航天技术领域,现已在科学研究、项目管理、医疗措施等社会各领域发挥着作用。

2.3 TRL体系的应用

TRL能够应用在科研项目的立项论证、转阶段评审、检查验收等一系列管理环节中,有助于准确地把握技术的状态,科学地管理技术研发和转型。对于一个科研项目来说,TRL评估的结果至少可以获得三个方面的重要信息[14]:一是项目的技术组成,这是开展TRL评估的前提;二是技术储备,即哪些技术是成熟的或基本成熟的;三是项目的技术风险,若需要新开发或继续开发的技术比较少,则风险可能会比较小。

显而易见,如果技术的TRL等级太低,则该项目就很可能要承担进度拖延或成本超支等风险。事实上,美国GAO在其最近几年的审计报告中也一再指出:在DOD对航天项目的采办中,低技术成熟度的组件和子系统是导致项目进度拖延的一个重要原因。美国空军已将TRL用作转阶段评审的依据,认为只有当技术达到TRL 7时才能够从技术开发阶段转入工程

[3]研制阶段,此时的项目风险比较低。因此,使用TRL进行技术项目管理,既能够直观地表[1]

示技术的状态,又能够有效地预判项目风险。

除了被直接用于评估之外,TRL体系还可以与其他指标结合来开发评估模型。如,美国

[15]陆军的Craver等人基于TRL开发的“技术项目管理模型”(TPMM)。该模型将与技术研

发和转型有关的复杂活动都集成在一起,并为技术研发和管理目标量身定做了系统工程和项目管理任务,能够协助技术管理者规划、管理和评估各种技术项目和技术转型。

2.4 TRL评估工具

在新系统和新技术开发的过程中,有许多节点都需要进行技术成熟度评估。例如:完成系统分析和概念设计研究时,选择设计选项时,开始全面技术研发时等。这些评估可能是研发团队内部的小范围事件,也可能是一个外部的、独立的同行评议过程。除了TRL之外,有效的评估还需要结合一些其他的度量,如:性能目标、技术成熟度和研发难度等。

在美国军方的武器装备采办中,DOD的项目管理者虽然已被要求使用TRL,但却缺少具体的使用指导。通常情况下,在采办评估中由采办方给出建议的技术项目表,由专家给出TRL分值,然后计算平均值或加权平均值,或者使用层次分析法加权归纳得到最终的分值[11][2]。为了便于专家评定技术项目的TRL级别,美国空军研究实验室的Nolte等人开发了专门的TRL

[9]计算器。

TRL计算器是一个微软Excel文档,其内容是围绕各级TRL设置的标准问题集,能够快速获得技术项目的TRL水平并以图形化的方式展现,最新版本是2.2。该工具从技术本身、制造/可生产性和文档完备情况等三个方面来度量技术成熟度,可以度量纯硬件、纯软件、硬件和软件等三种不同类型的技术。在该工具中,每一个TRL等级都被细化为涉及不同方面的若干个问题,允许用户回答所完成的百分比;随后,工具里的宏命令将首先检查上一级TRL的情况,再检查本级已回答问题的数量并利用百分比数值进行计算;最终,计算器给出一个整体的TRL等级,并以不同的颜色加以区分。

2.5 TRL的局限性

作为技术成熟的一种度量,TRL已经获得了政府机构和企业的广泛接受,但是,TRL用作一种衡量标准还存在着一些应用局限。首先,难以表达技术提升到更高TRL级别的研发难度和可能性,即未考虑新技术研发中未解决的研发障碍;第二,当具有多个子系统和组件的情况下,难以得出一个合适的技术成熟度等级;第三,还有其他一些技术类型不能用TRL来衡量,如:生物医学技术、实践型技术等。不过,TRL最突出的局限体现在只能度量技术的一个维度,而无法给出与技术有关的完整图景。技术的成熟性应该从多个维度来度量,有人曾经提到过16种不同的技术成熟维度,但TRL度量的仅仅是其中的1/16[16]。

为了弥补TRL体系的局限性,也为了更全面地评估技术研发项目,许多机构和学者开发了一些与TRL相关的度量指标。如:美国斯蒂文斯理工学院系统研发和成熟实验室(SDML)设计了集成成熟度(IRL),用于与TRL一起来确定系统成熟度(SRL)[17]。美国空军研究实验室设计了制造成熟度(MRL),最低的MRL对应于TRL 3,用于弥补TRL在体现可生产性方面的不足[16]。在我国,中国空间技术研究院编制了院级标准《航天器单机产品成熟度定级规定》[12]。由于TRL仅仅给出一个粗线条的技术成熟度等级划分标准,其推广应用还必须要有具体详细的评估方法,而这也是国外目前正在努力解决的问题。

3 技术成熟度的识别方法

随着系统化评估工具的开发和评估程序的规范,TRL等级评估已经能够让科研管理机构较为准确地估计促进技术成熟的时间和成本。但是,评估工作本身是一项富有挑战性的工作,首当其冲的问题就是评估的成本。这是因为,准确评估技术项目的TRL等级,常常需要高水平的领域技术专家参与,而且还要对专家进行评估方法的专门培训。为了降低评估成本、提高评估效率,有些研究者尝试着从文献计量的角度探索了自动识别TRL等级的可能性。

3.1 浅语义分析法

2008年,Britt等人基于浅语义索引构建了向量空间模型,通过探索文本文档内词语的潜在结构,对相似的技术描述文档进行聚类和分组[18]。然后,进一步比较组内各个文档的TRL等级,就能够找出TRL等级最高的解决方案。该研究采用了美国InRAD公司开发的技术评估和成熟度分析系统(TARAS)。系统有两个主要功能:识别出单个研究项目的TRL等级;通

过浅语义分析对文档进行聚类和分组,然后从文档子集中识别出TRL等级最高的文档。

需要说明的是,Britt等人所分析的技术描述报告中都包含专家们事先评定的TRL等级,并且大多数报告的字数平均都不超过50个单词。正因为具备了这两个条件,该研究才能够较为容易地在经过浅语义分析聚类的报告集中识别出具有最高TRL等级的报告,而且具有一定的特殊性。

3.2 共词分析法

从制定科技规划的实践来看,在制定科技发展路线图等科技发展战略规划时,如果能够明确每一种技术的成熟度等级,无疑能令规划工作变得轻松而高效。但事实上,这是一件很难的事情。不过,在难以掌握特定技术研发的具体状态时,明确其所处的研发阶段也能满足规划的需要。

为此,根据各个TRL等级的关键特征,可以将其按照技术研发的侧重点归结为以下四个具有明显特征的阶段:概念研究阶段(TRL 1 ~ 3),以基础性的概念研究和阐述、功能证明、实验室分析等为典型特征;部件或原型验证阶段(TRL 4 ~ 5),以研究性的实验室研发、组件验证、关键性能、原型验证等为典型特征;系统演示阶段(TRL 6 ~ 7),以系统性的组件集成、原型演示和系统/子系统演示为典型特征;产品评估阶段(TRL 8 ~ 9),以成型产品或系统的测试、运行和评估为典型特征。通过对SPIE数据库中“大功率半导体二极管”领域中部分技术文献的分析,我们发现:各阶段的描述都对应着一组较为明确的特征词,如表 2所示:

表 2 TRL对应的技术研发阶段

既然技术研发阶段与明确的特征词具有关联关系,那么利用共词分析从技术文献中识别研发阶段就存在着一定的可行性。为此,我们采用了美国Mitre公司的Kostoff所开发的“数

[19]DT)据库内容结构分析”(Database Tomography,方法来分析技术文献集,进行了初步尝试。

该方法的特点是在限定共现范围的前提下分析物理位置临近的技术短语,具体的分析流程及分析效果将另行撰文讨论。关于该方法的情况,可参阅文献[19, 20]。

4 结论与展望

自二十世纪七十年代中期NASA开发并使用以来,尤其是1995年Mankins起草并发布

《TRL白皮书》之后,从航天机构到国防机构,从美国到世界各国,从科研机构到企业,甚至从纯技术领域延伸到设计、制造等领域,技术成熟度的概念得到了非常广泛的传播和应用。发展到现在,技术成熟度体系已经有了多种不同的定义和描述,也已经出现了TRL计算器之类的评估工具。

对于我国科技研发机构和高科技制造企业来说,积极借鉴和开发适合自身情况的技术成熟度体系已经具备了足够的条件和参考经验。同时,为了满足科研管理对TRL等级评估的要求,一些学者正在积极地探索从文献分析的角度对其加以识别的可行性和效果。相信随着研究的深入,TRL等级的评估和识别都会变得更加高效和准确。不过,也应该看到,TRL体系仅仅是技术成熟度评估中的一个维度,要想全面地掌握技术的成熟状态,还必须辅之以制造成熟度等其他考察维度。总的说来,技术成熟度(TRL)是一个管理和交流技术研发状态及风险的有效工具,值得深入研究和应用。

【参考文献】

1.

2.

3.

4.

5.

6.

7.

8.

9. 朱毅麟.技术成熟度对航天器研制进度的影响[J].航天器工程,2009,18(2):9. John Mankins. Technology readiness assessments: A retrospective[J]. Acta Astronautica, 2009,65:1216–1223. Wikipedia.Technology Readiness Levels[EB/OL]. [2010-01-03]. http://en.wikipedia.org/wiki/Technology_Readiness_Levels. John Mankins. Technology readiness levels: A White Paper[R]. Washington, DC: NASA, 1995. General Accounting Office. BEST PRACTICES: Better Management of Technology Development Can Improve Weapon System Outcomes[R]. Washington, DC: GAO, 1999. Michael Harvey. Application of Technology Life Cycles to Technology Transfers[J]. Journal of Business Strategy, 1984,5(2):51-58. Bill Nolte. Technology Life Cycle[R/OL]. Wright Patterson: Air Force Research Laboratory, 2006 [2010-01-08].http://handle.dtic.mil/100.2/ADA509619. 杨勇华. 从技术知识观到技术演化观: 一种新的分析范式[J].科技进步与对策, 2007, 24(10): 107-108. William L. Nolte. Technology Readiness Level Calculator[EB/OL]. Assessing Technology Readiness &

Development Seminar, 2005. [2010-01-08].

http://www.aero.org/conferences/documents/TRLCalcBrief28Apr05_NOLTE.ppt.

Definitions of TRLs for Components and Subsystems/Systems[EB/OL]. [2010-01-08].

http://files.harc.edu/Projects/BlueWater/TRLDefinitions.pdf.

钱东,崔立,肖昌美. 技术成熟度评估方法及其在水下战装备上的应用[J]. 鱼雷技术, 2006, 14(1): 1-7. 朱毅麟.开展技术成熟度研究[J]. 航天标准化,2008,(2):13-14.

Technology Readiness Levels (TRL) of Medical Countermeasures for Chemical Threats [EB/OL].

[2010-01-08]. http://www.hhs.gov/aspr/barda/documents/draft_trls_chem_mcm2007-08-06.pdf.

安茂春,王志健.国外技术成熟度评价方法及其应用[J].评价与管理,2008,6(2):1-3.

Jeff Craver, Mike Ellis. Technology Program Management Model: Executive Overview [EB/OL]. 2007-08-29

[2010-01-08]. https://acc.dau.mil/CommunityBrowser.aspx?id=168200&lang=en-US.

William L. Nolte. MRL Background[EB/OL]. 2004-04-29 [2010-01-08]. http://TRL_caculator_address.

Brian Sauser, et al. A Systems Approach to Expanding the Technology Readiness Level within Defense

Acquisition[J]. International Journal of Defense Acquisition Management, 2008,1:39-58.

Barry Britt, et al. Document classification techniques for automated technology readiness level analysis[J]. JASIST, 2008,59(4):675-680.

冯璐,冷伏海.共词分析方法理论进展[J].中国图书馆学报,2006,32(2):88-92.

赵凡,马胜利.数据库内容结构分析法的理论与实践进展研究[J].情报理论与实践, 2008,31(2): 279-282. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20.

【作者简介】

王立学,男,1981年生,中国科学院国家科学图书馆 博士研究生;专业方向:科技信息分析;

email:[email protected]

冷伏海,男,1963年生,中国科学院国家科学图书馆 研究员、博士生导师;主要研究方向:

科技信息分析;email:[email protected]

王海霞,女,1979年生,中国科学院国家科学图书馆 助理研究员,博士;主要研究方向:空

间光电领域情报研究;email:[email protected]

联系人:冷伏海 电话:010-62538705;[1**********];email:[email protected] 或 者:王立学 电话:[1**********];email:[email protected]

通信地址:北京中关村北四环西路33号 中国科学院国家科学图书馆

邮编:100190


相关文章

  • 品牌培育管理体系第二部分评价指南
  • 品牌培育管理体系 第二部分 评价指南 第一版 工业和信息化部科技司 目 录 1 范围...............................................................1 2 引用和参考文件.... ...查看


  • 能源评审控制程序
  • 能源评审控制程序 1.目的 本程序旨在分析评价公司目前法律法规及其他要求遵守情况.能源管理情况和能源利用情况,发现问题,并确定能源绩效参数,建立目标体系,为制定能源管理实施方案提供依据. 2.适用范围 本程序适用于公司开展能源管理体系建设的 ...查看


  • 人工智能及识别技术的应用研究
  • 摘 要:随着信息技术的不断发展以及计算机应用领域的不断拓宽,人工智能的应用越来越广泛.因此迫切需要计算机能够更加准确,更加及时地感知语音.视觉等,从而适应环境所需的信息资料.人工智能及识别的技术五花八门,只有创造出适应环境的技术才能真正引领 ...查看


  • 机器视觉技术及其应用概况
  • 本栏目责任编辑:李桂瑾 人工智能及识别技术 机器视觉技术及其应用概况 陈发东,张晓芳,赵寰宇,张涛,于国英 (河北金牛能源股份有限公司玻纤分公司,河北邢台054001) 摘要:介绍了机器视觉的系统组成及工作原理.相对于人类视觉优势所在,阐述 ...查看


  • 信息系统安全服务资质评估准则
  • xxx xxx 中 华 人 民 共 和 国 国 家 标 准 信息系统安全服务资质评估准则 Evaluation Criteria for Competence of Information System Security Service P ...查看


  • 识别组织的人员能力
  • 组织人员能力识别和增长工作 一.必要性 人力资源是组织所有资源中最具有生命力的部分,是组织的软实力.组织的发展就是人的发展推动的,在实践过程中造就适应新军事变革的人才队伍是组织人力资源的总方针. 人员能力标准在整个岗位资格体系中,起着重要的 ...查看


  • 人工智能的利与弊
  • 人工智能能的利与弊 研究背景:随着现代科学技术的飞速发展,先进的技术在各个领域都得到了广泛的应用,使得生产力获得了大幅度的提高,为改善人民生活水平作出了巨大贡献.下一次生产力飞跃的突破口在哪里?目前越来越多的科学家把希望寄托于人工智能.他们 ...查看


  • 自动导向车(AGV)分类及原理
  • 自动导向车分类及其原理 [摘 要]自动导向车(AGV)技术在汽车工业上有着广泛的用途,它是机电一体化的典型代表,其应用能提高汽车总装程序的自动化程度与生产效率.因此,明确AGV的原理以及分类对AGV的使用.保护.维修.优化.发展很关键. [ ...查看


  • 农业机器人的发展现状及趋势
  • 农业机器人的发展现状及趋势 111112 姬江涛,郑治华,杜蒙蒙,贺智涛,杜新武,崔丽慧,刘 31庆,何亚凯 (1.河南科技大学车辆与动力工程学院,河南洛阳401329:3.河南省煤田地质局三队,河南新乡摘 要: 471003:2.重庆卓格 ...查看


热门内容