Sign in or 
Share this
HPC利用の現状と実用的ペタスケールコンピューティングへの道
HPC利用の現状と実用的ペタスケールコンピューティングへの道
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
http://www.ctwatch.org/quarterly/pdf/ctwatchquarterly-8.pdf
http://www.ctwatch.org/quarterly/pdf/ctwatchquarterly-9.pdf
＜目次＞
第1部
P 1. イントロダクション
Introduction
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
P 2. ビジネスでのHPCの利用
Making the Business Case for High Performance Computing: A Benefit-Cost Analysis Methodology
P 9. HPCを活用して何をしているか
What’s Working in HPC: Investigating HPC User Behavior and Productivity
P 18. HPCの設計と実施 ー 現状における問題点
Design and Implementation of the HPC Challenge Benchmark Suite
P 24. HPCにおけるプロラマー生産性計測
Experiments to Understand HPC Time to Development
P 33. HPCにおけるSoftware Programming 10のプロジェクト DOD/DARPA
Software Productivity Research In High Performance Computing
問題がある／効率的／ますます計算処理対象の規模増大
P 39. Application Software for HPC
Application Software for High Performance Computers: A Soft Spot for U.S. Business Competitiveness
P 49. Parallel Software 開発時間
Analysis of Parallel Software Development using the Relative Development Time Productivity Metric
massively parallel architechtureがhigh end computingの標準に
P 52. HPCにおけるSoftware生産性
Observations about Software Development for High End Computing
第2部 November 2006 B
P 1. Meritで示すシステム全体としての生産性数値
A System-wide Productivity Figure of Merit
P 10. スパコンランキングの方法論：性能の透明性、複雑性計測のための実行タイム計測法
Performance Complexity: An Execution Time Metric to Characterize the Transparency and Complexity of Performance
P 19. プログラマーワークフローのモデリング:Timed Markov モデルを利用
Modelling Programmer Workflows with Timed Markov Models
P 27.アプリケーションの動きの理解のためのコンパイラを活用した計測
A Compiler-guided Instrumentation for Application Behavior Understanding
P 35. HPCSアプリケーションのシンボリックパフォーマンスのモデリング
Symbolic Performance Modeling of HPCS Applications
P 41. 高生産性コンピューティングシステム High Productivity Computing Systems計測のためのスケーラブルシンセティック（合成）コンパクトアプリケーション
Designing Scalable Synthetic Compact Applications for Benchmarking High Productivity Computing Systems
P 52. SLOPE - コンパイラーによる科学的プログラムのための性能予測と性能感度分析
SLOPE - A Compiler Approach to Performance Prediction and Performance Sensitivity Analysis for Scientific Codes
P 59. スパコン性能ランク付けのための計測
Metrics for Ranking the Performance of Supercomputers
P 68. 大規模コンピューティングによる科学及び技術プロジェクト開発及び生産ワークフロー
Large-Scale Computational Scientific and Engineering Project Development and Production Workflows
HPCの現状と実用的ペタレベルのコンピューティングへの道
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
＜本文＞
第1部
P 1. イントロダクション
Introduction
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
国防から民生需要（bioinformatics, entertainment etc.）
取り扱いの困難さの増大
DARPAの HPCS programがスタート
HPCSは同時に生産性計測プログラムにも資金提供を行った。この報告書はこれに関わる１７の報告書から構成される。Top500のリストの先の真の性能計測をめざす。
P 2. ビジネスでのHPCの利用
Making the Business Case for High Performance Computing: A Benefit-Cost Analysis Methodology
2004年7月のCouncil on Competitiveness Study of U.S. Industrial HPC Users（DARPAが資金提供、IDCが実施）の結論は米企業の97％がHPCの活用無くして存続が不可能と結論。
HPC and Business Competitiveness
HPCを使った実験、モデリング、シミュレーションは科学、工業設計エンジニアリングの第３の脚となった。
ビジネスにおけるHPCの活用は具体的には以下の分野：自動車、航空機の設計、新エネルギー源の開発、抽出、気候予測、医薬品開発、そして国防。
1980年にBoeing社は767型機に77種類の翼性能検証の際，HPCのシミュレーションにより、7E7型機について11種類のみのテストで済ますことができた。
DreamWorks Animation SKGはアニメーション映画製作にHPCを使って作成、その結果、米国のアニマエーション産業は世界の先頭に立っている。
Proctor ‘& Gamble Companyでは HPCのシミュレーションにより、おむつの素材の吸収性能から漂白剤容器の強度、重量削減からポテトチップの量産に適した形状計算を行っている。
Wal-Mart社はサプライチェーン管理に利用、日々のデータの分析、全世界の倉庫の在庫管理、さらに全店舗の室内照明の点滅を含めたergonoicsにまでHPCを利用。
Chevron社はHPCを使ったメキシコ湾での3-15十億バレルの海上油田開発に成功、米国の石油備蓄を50％アップさせた。
話はこれだけで終わらない。
HPCはあらゆる外見、年齢の仮想人間virtual humansを作成して薬品の安全と共に医療の流れ、医療機器に革命を起こすことになろう。
HPCを活用して石油埋蔵量の計測をより正確に行うことで、埋蔵量を50-75％増加させることができると思われる。
HPC活用により、原油の分子と選択的に作用することで、石油精製をより低価格、高付加価値の実現が可能と思われる。
HPCの利用で、疫病蔓延の予測を行い、より効果的に抑制することができると思われる。
HPCの利用で、何千マイルもの通信トラフィックのリアルタイムの分析が可能となると思われる。
Barriers to HPC Use in the Private Sector
基本的に３つの大きな障壁が立ちはだかっている。
（組織外部要因）教育、訓練（コンピュータ科学者の不足）
（組織外部要因）技術的制約（レガシーコードの更新、新プログラム開発の遅れ、プロセッサーと他のシステムテクノロジー間の性能のギャップの広がるギャップ）
（組織内部要因）ビジネス戦略、意志決定プロセス
今日、アメリカの重役室ではHPCはイノベーションの先端をいくものというより、コスト要因と見なされている。
短期的にコスト最小化が優先され、長期の潜在的収益源への投資は優先順位が低い。
更に、予算の制約がある。安いハードで、すぐ成果がでるものが優先される。
従って，HPC においてROIの計測は困難なことも、企業における障壁の一つである。
Making the Business Case for HPC
多くの重役はHPCをコストと見なし、有用な投資とは見なさないがそれはROI計測が困難なためである。
ここで、ROI計測のため、BCRをbenefit cost ratioと定義して検討することにする。
BCR Case Study Examples
Research Laboratory Example
この例ではBCRは2.6 P6参照
Industry Example
この例ではBCRは1.40 P7参照
Summary
Council on CompetitivenessでHPC導入の障害について研究。
専門家の欠如、技術的制約、重役会がHPCをコストと見なすこと、将来における成果が導入の可否の判断に反映しないこと。
P 9. HPCを活用して何をしているか
What’s Working in HPC: Investigating HPC User Behavior and Productivity
http://www.ctwatch.org/quarterly/pdf/ctwatchquarterly-8.pdf
Introduction
Procedure
Analysis 分析結果
Conjecture 1: HPC users all have similar concerns and difficulties with productivity.
想定１：HPCユーザーは全て、同じく、生産性について懸念と問題を抱えている。
ユーザーには３種類
天井桟敷Marquee User 大規模、高度な利用で各メーカーの宣伝窓口となりそうなユーザー
普通のユーザー Normal Users 128個から512個のプロセッサーを使い、ユーザとして数が最大。
小型ユーザーSmall Users プロセッサ数は16個未満。普通、パラレルプログラム学習中でスケジューラーのbackfillingでも簡単に開始可能。HPCそのものになじみが無い。質問表の多さ、ジョブログから仕事の内容が想像できる。
大規模ユーザーと普通のユーザーの差は、インタビューの反応の差で明らか。
Memory, i/Oボトルネックがプログラムの制約要因。
双方向型の実行環境interactive running capabilities of a systemでは、ユーザーの階層の違いが明らかになる。
Conjecture 2: Users with the largest allocation and most experience are the most productive.
最も規模が大きく、経験豊富なユーザーがもっとの生産性が高い
生産性については、大規模ユーザーも中小のユーザーもその達成には同様に問題を抱えていることが明らかとなった。大規模システムの場合、しばしばプログラムの規模がシステムの限界を超えるため、問題が起きるが、中小規模の場合とその性格が異なる。
Conjecture 3: Time to solution is the limiting factor for productivity on HPC systems.
解決法実現までの時間の制約がHPCシステム生産性を阻害する要因
以下は調査対象全てに言えることである。すなわち、リソース拡大の必要からHPCに移行するが、性能について、目標というよりは制約と考えている。プログラムの性能は一定の生産性を維持するに十分な水準に達すると、もやは優先目標ではなくなる。
詳しく調査した結果，パラレル処理の能力があっても、それを活用しているユーザーは少ない。
数千個のプロセッサへのアクセスが可能な場合、大部分のユーザーはすぐに性能チューニングの優先順位を下げる傾向がある。
パフォーマンスが確かに当初のHPC移行への理由だが、インタビューの結果はそれが優先目標ではないことを示している。
Conjecture 4: Lack of publicity is the main roadblock to adoption of performance and parallel debugging tools.
知名度の無さが性能とパラレルデバッギングツール採用への主な障害である。
パラレルディバッギングツールについては、それを知っていても、大抵のユーザーが単にそれを使おうとしないでいる。
当たり前だが、パフォーマンスオプティマイゼーションコンサルタントがこのツールを一番良く使うユーザーと言うことになる。
あるユーザーはこれらツールに何百個ものプロセッサーに対応するスケーラビリティがあり、使いやすければ使っただろうという。
Conjecture 5: HPC programmers would demand dramatic performance improvements to consider major structural changes to their code.
HPCのプログラマーは自作のプログラムに大きな改造を検討する際、劇的な性能改善を要求する。
プログラマーが言語の変更、通信モデルの変更による大規模プログラム書き換えのリスクについて無関心である。
多くのシステムは何十年も継続するが、あるセミナー参加者１２名のうち、８名は極小さなシステム改善、ポリシー変更のため、プログラムの大規模の変更を行う予定と言う。
Conjecture 6: A computer science background is crucial to success in performance optimization.
性能最適化がうまく行くためにはコンピュータ科学の経歴が必須。
プロジェクトを成功させるにはコンピュータ科学者かソフトウエアエンジニアを採用するのが一般的だが、成功したプロジェクトでこんピュータサイエンスのバックグラウンドがあるのは１例のみだった。
対象となる科学分野について、十分な知識が無ければ、必ず失敗するというのは、関係者のコンセンサスであった。
Conjecture 7: Visualization is not on the critical path to productivity in HPC.
視覚化visualizationはHPCで生産性を高めるためには必須である。
インタビュー対象者のうち、３人がvisualizationを定期的におこない、実行結果のチェックを行っていた。
視覚化のためのツール、画像変換ツールの欠如、また処理後の画像変換リソース入手の困難という問題があるという。
Conclusion
HPCユーザーは利用形態、要件、直面する問題、知識の背景が多様。従って，個々の生産性も一概に言うことはできない。
P 18. HPCの設計と実施 ー 現状における問題点
Design and Implementation of the HPC Challenge Benchmark Suite
1. Introduction
2. The Top500 Influence
3. Short History of the Benchmark
7. Conclusions
P 24. HPCにおけるプロラマー生産性計測
Experiments to Understand HPC Time to Development
1. Introduction
5. Conclusions
P 33. HPCにおけるSoftware Programming 10のプロジェクト DOD/DARPA
Software Productivity Research In High Performance Computing
問題がある／効率的／ますます計算処理対象の規模増大
1. Introduction
4. Conclusions
P 39. Application Software for HPC
Application Software for High Performance Computers: A Soft Spot for U.S. Business Competitiveness
Market and Resource Barriers
ニッチ（小さい）なマーケットなのでサードバーティのHPCアプリケーションソフト開発の意欲はわかない。
従来のISVビジネスモデルがニッチマーケットでは永続する。
通常、ISVは制限のないライセンスを販売、ユーザーあたりまたプロセッサあたりの値段で提供するが、通常、更に欲しくても、高すぎて変えないことになるという。
更に、年間ソフト使用料金は中小の企業には購入が不可能なほど、高いのが米国では一般的。
大抵のISVはパラレルシステムを入手することや、複数HPCプラットフォームをサポートすることができない。
優秀なタレントの欠如がHPCソフト開発のネック
Technical Barriers
現行のHPCソフトは。ビジネスワークフローに統合するにはインターフェース改善の必要がある
Conclusions
P 49. Parallel Software 開発時間
Analysis of Parallel Software Development using the Relative Development Time Productivity Metric
massively parallel architechtureがhigh end computingの標準に
Introduction
Analysis
Conclusions and Future Work
P 52. HPCにおけるSoftware生産性
Observations about Software Development for High End Computing
Introduction
5. Evaluating Research, Stage 3: Developing Quantitative Models for validating HPCS Programmer Workflow
6. Conclusions
第2部 November 2006 B
1. Meritで示すシステム全体としての生産性数値
A System-wide Productivity Figure of Merit
P 1. Introduction
P 6. Conclusion, Examples, and a Spreadsheet to Learn From
P 10. スパコンランキングの方法論：性能の透明性、複雑性計測のための実行タイム計測法
Performance Complexity: An Execution Time Metric to Characterize the Transparency and Complexity of Performance
Abstract
1. Introduction
2. How to characterize Performance Complexity and Transparency
8. Conclusions and Future Work
P 19. プログラマーワークフローのモデリング:Timed Markov モデルを利用
Modelling Programmer Workflows with Timed Markov Models
Abstract
1. Introduction
2. Timed Markov Processes
3. Timed Markov models of programmer workflows
4. Instrumentation and data collection
5. Comparing UPC and C/MPI workflow
6. Tools
6.1 A tool for automatic TMM generation from collected data
6.2 A tool for representing and simulating TMMs
7. Conclusion
P 27.アプリケーションの動きの理解のためのコンパイラ誘導による計測
A Compiler-guided Instrumentation for Application Behavior Understanding
Abstract
1. Introduction and Motivation
2. Technical Approach
5. Conclusion
P 35. HPCSアプリケーションのシンボリックパフォーマンスのモデリング
Symbolic Performance Modeling of HPCS Applications
1. Introduction
2. The MA Framework
3. Construction and Validation of Symbolic Models
P 41. 高生産性コンピューティングシステム High Productivity Computing Systems計測のためのスケーラブルシンセティック（合成）コンパクトアプリケーション
Designing Scalable Synthetic Compact Applications for Benchmarking High Productivity Computing Systems
Abstract
1. Introduction
2. SSCA #1: Bioinformatics Optimal Pattern Matching
2.1 Bioinformatics
2.2 Sequence Alignment
2.3 Data Generation and Kernels
2.3.1 Scalable Data Generator
2.3.2 Kernel 1: Pairwise Local Alignment of Sequences
2.3.3 Kernel 2: Sequence extraction
2.3.4 Kernel 3: Locating similar sequences
2.3.5 Kernel 4: Aligning pairs of similar sequences
2.3.6 Kernel 5: Multiple Sequence Alignment
3. SSCA #2: Graph Analysis
3.1 Data Generation
4.1 Operating Modes
4.2 Computational Workload
5. Summary of Current Implementations
P 52. SLOPE - コンパイラーによる科学的プログラムのための性能予測と性能感度分析
SLOPE - A Compiler Approach to Performance Prediction and Performance Sensitivity Analysis for Scientific Codes
Abstract
1. Introduction and Background
2. Technical Approach
2.1. Basic Analyses: Data-Flow Graph(CFG) Critical Path(CP) Analysis
2.2. Data Access Pattern Analysis
2.3. Scheduling Analysis
4. Conclusion
P 59. スパコン性能ランク付けのための計測
Metrics for Ranking the Performance of Supercomputers
Abstract
1. Introduction
2. Ranking using machine metrics
2.1 Measuring the quality of a ranking
2.2 Ranking using single machine metrics
2.3 Using combined machine metrics
3, Ranking using application metrics
3.1 Ranking using simple metric-products
3.1.1 Strided/Random memory access and flops
3.1.2 Using more detailed application information
3.2 Ranking and performance prediction
4. Conclusion
Appendix
P 68. 大規模コンピューティングによる科学及び技術プロジェクト開発及び生産ワークフロー
Large-Scale Computational Scientific and Engineering Project Development and Production Workflows
Overview
Software Development Tool Categories
1. Code Development computing environment:
2. Production Run computing environment:
3. Software engineering and software project management tools:
4. Computational algorithms and libraries:
Development and Production Workflows
I Formulate Questions, Issues and General Approach
II Develop the Computational and Project Management and Team Approaches for the Code project
III Develop the code
IV, Perform V&V
V. Execute production runs
V1. Analyze computational results from production runs
VII. Make Decisions
Summary
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
http://www.ctwatch.org/quarterly/pdf/ctwatchquarterly-8.pdf
http://www.ctwatch.org/quarterly/pdf/ctwatchquarterly-9.pdf
＜目次＞
第1部
P 1. イントロダクション
Introduction
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
P 2. ビジネスでのHPCの利用
Making the Business Case for High Performance Computing: A Benefit-Cost Analysis Methodology
P 9. HPCを活用して何をしているか
What’s Working in HPC: Investigating HPC User Behavior and Productivity
P 18. HPCの設計と実施 ー 現状における問題点
Design and Implementation of the HPC Challenge Benchmark Suite
P 24. HPCにおけるプロラマー生産性計測
Experiments to Understand HPC Time to Development
P 33. HPCにおけるSoftware Programming 10のプロジェクト DOD/DARPA
Software Productivity Research In High Performance Computing
問題がある／効率的／ますます計算処理対象の規模増大
P 39. Application Software for HPC
Application Software for High Performance Computers: A Soft Spot for U.S. Business Competitiveness
P 49. Parallel Software 開発時間
Analysis of Parallel Software Development using the Relative Development Time Productivity Metric
massively parallel architechtureがhigh end computingの標準に
P 52. HPCにおけるSoftware生産性
Observations about Software Development for High End Computing
第2部 November 2006 B
P 1. Meritで示すシステム全体としての生産性数値
A System-wide Productivity Figure of Merit
P 10. スパコンランキングの方法論：性能の透明性、複雑性計測のための実行タイム計測法
Performance Complexity: An Execution Time Metric to Characterize the Transparency and Complexity of Performance
P 19. プログラマーワークフローのモデリング:Timed Markov モデルを利用
Modelling Programmer Workflows with Timed Markov Models
P 27.アプリケーションの動きの理解のためのコンパイラを活用した計測
A Compiler-guided Instrumentation for Application Behavior Understanding
P 35. HPCSアプリケーションのシンボリックパフォーマンスのモデリング
Symbolic Performance Modeling of HPCS Applications
P 41. 高生産性コンピューティングシステム High Productivity Computing Systems計測のためのスケーラブルシンセティック（合成）コンパクトアプリケーション
Designing Scalable Synthetic Compact Applications for Benchmarking High Productivity Computing Systems
P 52. SLOPE - コンパイラーによる科学的プログラムのための性能予測と性能感度分析
SLOPE - A Compiler Approach to Performance Prediction and Performance Sensitivity Analysis for Scientific Codes
P 59. スパコン性能ランク付けのための計測
Metrics for Ranking the Performance of Supercomputers
P 68. 大規模コンピューティングによる科学及び技術プロジェクト開発及び生産ワークフロー
Large-Scale Computational Scientific and Engineering Project Development and Production Workflows
HPCの現状と実用的ペタレベルのコンピューティングへの道
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
＜本文＞
第1部
P 1. イントロダクション
Introduction
High Productivity Computing Systems and the Path Towards Usable Petascale Computing
国防から民生需要（bioinformatics, entertainment etc.）
取り扱いの困難さの増大
DARPAの HPCS programがスタート
HPCSは同時に生産性計測プログラムにも資金提供を行った。この報告書はこれに関わる１７の報告書から構成される。Top500のリストの先の真の性能計測をめざす。
P 2. ビジネスでのHPCの利用
Making the Business Case for High Performance Computing: A Benefit-Cost Analysis Methodology
2004年7月のCouncil on Competitiveness Study of U.S. Industrial HPC Users（DARPAが資金提供、IDCが実施）の結論は米企業の97％がHPCの活用無くして存続が不可能と結論。
HPC and Business Competitiveness
HPCを使った実験、モデリング、シミュレーションは科学、工業設計エンジニアリングの第３の脚となった。
ビジネスにおけるHPCの活用は具体的には以下の分野：自動車、航空機の設計、新エネルギー源の開発、抽出、気候予測、医薬品開発、そして国防。
1980年にBoeing社は767型機に77種類の翼性能検証の際，HPCのシミュレーションにより、7E7型機について11種類のみのテストで済ますことができた。
DreamWorks Animation SKGはアニメーション映画製作にHPCを使って作成、その結果、米国のアニマエーション産業は世界の先頭に立っている。
Proctor ‘& Gamble Companyでは HPCのシミュレーションにより、おむつの素材の吸収性能から漂白剤容器の強度、重量削減からポテトチップの量産に適した形状計算を行っている。
Wal-Mart社はサプライチェーン管理に利用、日々のデータの分析、全世界の倉庫の在庫管理、さらに全店舗の室内照明の点滅を含めたergonoicsにまでHPCを利用。
Chevron社はHPCを使ったメキシコ湾での3-15十億バレルの海上油田開発に成功、米国の石油備蓄を50％アップさせた。
話はこれだけで終わらない。
HPCはあらゆる外見、年齢の仮想人間virtual humansを作成して薬品の安全と共に医療の流れ、医療機器に革命を起こすことになろう。
HPCを活用して石油埋蔵量の計測をより正確に行うことで、埋蔵量を50-75％増加させることができると思われる。
HPC活用により、原油の分子と選択的に作用することで、石油精製をより低価格、高付加価値の実現が可能と思われる。
HPCの利用で、疫病蔓延の予測を行い、より効果的に抑制することができると思われる。
HPCの利用で、何千マイルもの通信トラフィックのリアルタイムの分析が可能となると思われる。
Barriers to HPC Use in the Private Sector
基本的に３つの大きな障壁が立ちはだかっている。
（組織外部要因）教育、訓練（コンピュータ科学者の不足）
（組織外部要因）技術的制約（レガシーコードの更新、新プログラム開発の遅れ、プロセッサーと他のシステムテクノロジー間の性能のギャップの広がるギャップ）
（組織内部要因）ビジネス戦略、意志決定プロセス
今日、アメリカの重役室ではHPCはイノベーションの先端をいくものというより、コスト要因と見なされている。
短期的にコスト最小化が優先され、長期の潜在的収益源への投資は優先順位が低い。
更に、予算の制約がある。安いハードで、すぐ成果がでるものが優先される。
従って，HPC においてROIの計測は困難なことも、企業における障壁の一つである。
Making the Business Case for HPC
多くの重役はHPCをコストと見なし、有用な投資とは見なさないがそれはROI計測が困難なためである。
ここで、ROI計測のため、BCRをbenefit cost ratioと定義して検討することにする。
BCR Case Study Examples
Research Laboratory Example
この例ではBCRは2.6 P6参照
Industry Example
この例ではBCRは1.40 P7参照
Summary
Council on CompetitivenessでHPC導入の障害について研究。
専門家の欠如、技術的制約、重役会がHPCをコストと見なすこと、将来における成果が導入の可否の判断に反映しないこと。
P 9. HPCを活用して何をしているか
What’s Working in HPC: Investigating HPC User Behavior and Productivity
http://www.ctwatch.org/quarterly/pdf/ctwatchquarterly-8.pdf
Introduction
Procedure
Analysis 分析結果
Conjecture 1: HPC users all have similar concerns and difficulties with productivity.
想定１：HPCユーザーは全て、同じく、生産性について懸念と問題を抱えている。
ユーザーには３種類
天井桟敷Marquee User 大規模、高度な利用で各メーカーの宣伝窓口となりそうなユーザー
普通のユーザー Normal Users 128個から512個のプロセッサーを使い、ユーザとして数が最大。
小型ユーザーSmall Users プロセッサ数は16個未満。普通、パラレルプログラム学習中でスケジューラーのbackfillingでも簡単に開始可能。HPCそのものになじみが無い。質問表の多さ、ジョブログから仕事の内容が想像できる。
大規模ユーザーと普通のユーザーの差は、インタビューの反応の差で明らか。
Memory, i/Oボトルネックがプログラムの制約要因。
双方向型の実行環境interactive running capabilities of a systemでは、ユーザーの階層の違いが明らかになる。
Conjecture 2: Users with the largest allocation and most experience are the most productive.
最も規模が大きく、経験豊富なユーザーがもっとの生産性が高い
生産性については、大規模ユーザーも中小のユーザーもその達成には同様に問題を抱えていることが明らかとなった。大規模システムの場合、しばしばプログラムの規模がシステムの限界を超えるため、問題が起きるが、中小規模の場合とその性格が異なる。
Conjecture 3: Time to solution is the limiting factor for productivity on HPC systems.
解決法実現までの時間の制約がHPCシステム生産性を阻害する要因
以下は調査対象全てに言えることである。すなわち、リソース拡大の必要からHPCに移行するが、性能について、目標というよりは制約と考えている。プログラムの性能は一定の生産性を維持するに十分な水準に達すると、もやは優先目標ではなくなる。
詳しく調査した結果，パラレル処理の能力があっても、それを活用しているユーザーは少ない。
数千個のプロセッサへのアクセスが可能な場合、大部分のユーザーはすぐに性能チューニングの優先順位を下げる傾向がある。
パフォーマンスが確かに当初のHPC移行への理由だが、インタビューの結果はそれが優先目標ではないことを示している。
Conjecture 4: Lack of publicity is the main roadblock to adoption of performance and parallel debugging tools.
知名度の無さが性能とパラレルデバッギングツール採用への主な障害である。
パラレルディバッギングツールについては、それを知っていても、大抵のユーザーが単にそれを使おうとしないでいる。
当たり前だが、パフォーマンスオプティマイゼーションコンサルタントがこのツールを一番良く使うユーザーと言うことになる。
あるユーザーはこれらツールに何百個ものプロセッサーに対応するスケーラビリティがあり、使いやすければ使っただろうという。
Conjecture 5: HPC programmers would demand dramatic performance improvements to consider major structural changes to their code.
HPCのプログラマーは自作のプログラムに大きな改造を検討する際、劇的な性能改善を要求する。
プログラマーが言語の変更、通信モデルの変更による大規模プログラム書き換えのリスクについて無関心である。
多くのシステムは何十年も継続するが、あるセミナー参加者１２名のうち、８名は極小さなシステム改善、ポリシー変更のため、プログラムの大規模の変更を行う予定と言う。
Conjecture 6: A computer science background is crucial to success in performance optimization.
性能最適化がうまく行くためにはコンピュータ科学の経歴が必須。
プロジェクトを成功させるにはコンピュータ科学者かソフトウエアエンジニアを採用するのが一般的だが、成功したプロジェクトでこんピュータサイエンスのバックグラウンドがあるのは１例のみだった。
対象となる科学分野について、十分な知識が無ければ、必ず失敗するというのは、関係者のコンセンサスであった。
Conjecture 7: Visualization is not on the critical path to productivity in HPC.
視覚化visualizationはHPCで生産性を高めるためには必須である。
インタビュー対象者のうち、３人がvisualizationを定期的におこない、実行結果のチェックを行っていた。
視覚化のためのツール、画像変換ツールの欠如、また処理後の画像変換リソース入手の困難という問題があるという。
Conclusion
HPCユーザーは利用形態、要件、直面する問題、知識の背景が多様。従って，個々の生産性も一概に言うことはできない。
P 18. HPCの設計と実施 ー 現状における問題点
Design and Implementation of the HPC Challenge Benchmark Suite
1. Introduction
2. The Top500 Influence
3. Short History of the Benchmark
7. Conclusions
P 24. HPCにおけるプロラマー生産性計測
Experiments to Understand HPC Time to Development
1. Introduction
5. Conclusions
P 33. HPCにおけるSoftware Programming 10のプロジェクト DOD/DARPA
Software Productivity Research In High Performance Computing
問題がある／効率的／ますます計算処理対象の規模増大
1. Introduction
4. Conclusions
P 39. Application Software for HPC
Application Software for High Performance Computers: A Soft Spot for U.S. Business Competitiveness
Market and Resource Barriers
ニッチ（小さい）なマーケットなのでサードバーティのHPCアプリケーションソフト開発の意欲はわかない。
従来のISVビジネスモデルがニッチマーケットでは永続する。
通常、ISVは制限のないライセンスを販売、ユーザーあたりまたプロセッサあたりの値段で提供するが、通常、更に欲しくても、高すぎて変えないことになるという。
更に、年間ソフト使用料金は中小の企業には購入が不可能なほど、高いのが米国では一般的。
大抵のISVはパラレルシステムを入手することや、複数HPCプラットフォームをサポートすることができない。
優秀なタレントの欠如がHPCソフト開発のネック
Technical Barriers
現行のHPCソフトは。ビジネスワークフローに統合するにはインターフェース改善の必要がある
Conclusions
P 49. Parallel Software 開発時間
Analysis of Parallel Software Development using the Relative Development Time Productivity Metric
massively parallel architechtureがhigh end computingの標準に
Introduction
Analysis
Conclusions and Future Work
P 52. HPCにおけるSoftware生産性
Observations about Software Development for High End Computing
Introduction
5. Evaluating Research, Stage 3: Developing Quantitative Models for validating HPCS Programmer Workflow
6. Conclusions
第2部 November 2006 B
1. Meritで示すシステム全体としての生産性数値
A System-wide Productivity Figure of Merit
P 1. Introduction
P 6. Conclusion, Examples, and a Spreadsheet to Learn From
P 10. スパコンランキングの方法論：性能の透明性、複雑性計測のための実行タイム計測法
Performance Complexity: An Execution Time Metric to Characterize the Transparency and Complexity of Performance
Abstract
1. Introduction
2. How to characterize Performance Complexity and Transparency
8. Conclusions and Future Work
P 19. プログラマーワークフローのモデリング:Timed Markov モデルを利用
Modelling Programmer Workflows with Timed Markov Models
Abstract
1. Introduction
2. Timed Markov Processes
3. Timed Markov models of programmer workflows
4. Instrumentation and data collection
5. Comparing UPC and C/MPI workflow
6. Tools
6.1 A tool for automatic TMM generation from collected data
6.2 A tool for representing and simulating TMMs
7. Conclusion
P 27.アプリケーションの動きの理解のためのコンパイラ誘導による計測
A Compiler-guided Instrumentation for Application Behavior Understanding
Abstract
1. Introduction and Motivation
2. Technical Approach
5. Conclusion
P 35. HPCSアプリケーションのシンボリックパフォーマンスのモデリング
Symbolic Performance Modeling of HPCS Applications
1. Introduction
2. The MA Framework
3. Construction and Validation of Symbolic Models
P 41. 高生産性コンピューティングシステム High Productivity Computing Systems計測のためのスケーラブルシンセティック（合成）コンパクトアプリケーション
Designing Scalable Synthetic Compact Applications for Benchmarking High Productivity Computing Systems
Abstract
1. Introduction
2. SSCA #1: Bioinformatics Optimal Pattern Matching
2.1 Bioinformatics
2.2 Sequence Alignment
2.3 Data Generation and Kernels
2.3.1 Scalable Data Generator
2.3.2 Kernel 1: Pairwise Local Alignment of Sequences
2.3.3 Kernel 2: Sequence extraction
2.3.4 Kernel 3: Locating similar sequences
2.3.5 Kernel 4: Aligning pairs of similar sequences
2.3.6 Kernel 5: Multiple Sequence Alignment
3. SSCA #2: Graph Analysis
3.1 Data Generation
4.1 Operating Modes
4.2 Computational Workload
5. Summary of Current Implementations
P 52. SLOPE - コンパイラーによる科学的プログラムのための性能予測と性能感度分析
SLOPE - A Compiler Approach to Performance Prediction and Performance Sensitivity Analysis for Scientific Codes
Abstract
1. Introduction and Background
2. Technical Approach
2.1. Basic Analyses: Data-Flow Graph(CFG) Critical Path(CP) Analysis
2.2. Data Access Pattern Analysis
2.3. Scheduling Analysis
4. Conclusion
P 59. スパコン性能ランク付けのための計測
Metrics for Ranking the Performance of Supercomputers
Abstract
1. Introduction
2. Ranking using machine metrics
2.1 Measuring the quality of a ranking
2.2 Ranking using single machine metrics
2.3 Using combined machine metrics
3, Ranking using application metrics
3.1 Ranking using simple metric-products
3.1.1 Strided/Random memory access and flops
3.1.2 Using more detailed application information
3.2 Ranking and performance prediction
4. Conclusion
Appendix
P 68. 大規模コンピューティングによる科学及び技術プロジェクト開発及び生産ワークフロー
Large-Scale Computational Scientific and Engineering Project Development and Production Workflows
Overview
Software Development Tool Categories
1. Code Development computing environment:
2. Production Run computing environment:
3. Software engineering and software project management tools:
4. Computational algorithms and libraries:
Development and Production Workflows
I Formulate Questions, Issues and General Approach
II Develop the Computational and Project Management and Team Approaches for the Code project
III Develop the code
IV, Perform V&V
V. Execute production runs
V1. Analyze computational results from production runs
VII. Make Decisions
Summary
|
ishida |
Latest page update: made by ishida
, Apr 5 2007, 9:02 AM EDT
(about this update
About This Update
Edited by ishida
39 words added 14 words deleted view changes - complete history) |
|
Keyword tags:
bioinformatics
DARPA
data generator
DoD
HPC
parallel software development
petascale computing
sequence alignment
timed Markov model
Top500
More Info: links to this page
|
There are no threads for this page.
Be the first to start a new thread.
