人とコンピュータの相互作用 (- Interaction (HCI) - 研究の最前線 - 任向実高知工科大学情報学群 WHAT IS HCI? 2 HCI で生まれた研究例 GUI (Graphical User Interface) PCの普及 Webの普及 J. C. R. Licklider (1960). Man- Symbiosis, Transactions on Factors in Electronics, volume HFE-1, pages 4 11. Cybernetics GUI: Graphical User Interface Windows マイケル ヒルツィック : 未来をつくった人々ゼロックス パロアルト研究 ipad Windows Mouse CSCW Hypertext Multimedia 所とコンピュータエイジの黎明, 毎日コミュニケーションズ (2001.10). 3 4 2006 年 Douglas C. Engelbart 氏の事務所にて Norbert Wiener (1948) 計算機の周辺 ( インタフェース ) も研究する必要 国際会議 ACM CHI (1982 - ) 参加者毎年 3000 人 ACM への貢献度 2 位 top 2 among ACM conferences Herbert A. Simon 1916-2001 Turing Award 1975 Nobel Prize in Economics 1978 National Medal of Science 1986 von Neumann Theory Prize 1988 5 CHI 2013 (Associate Program Chair) http://chi2013.acm.org/ CHI 2015 in Asia ACM conferences http://portal.acm.org/proceedings.cfm?cfid=27972003&cftoken=84900468 ACM CHI http://en.wikipedia.org/wiki/chi_(conference) 6 1
HCI 研究が盛んになった What is HCI? ネットワーク ( インターネット ) ネットワーク ( インターネット ) 情報 / メッセージの流通 分布 HCI は有効性 生産性 意欲 安全性に大きな影響を及ぼす コンピュータのハードウェアの迅速発展に比べて コンピュータの普及と高効率利用がボトルネックとなった 科学技術計算の分野では すでに限界に近い成果が上がっているが もっとも立ち遅れているのは HCI computer interaction (HCI) is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them. From: ACM SIGCHI Curricula for HCI (Hewett et al. 1992) http://sigchi.org/cdg/cdg2.html HCI の 3 つの側面 TRENDS IN HCI 9 ヒト インプットキーボードマウス声 ペンジェスチャー インプット 相互作用 アウトプット コンピュータ ( ハード / ソフト ) アウトプットディスプレイ音 Three Aspects of HCI input Interaction output Input (hardware/software) keyboard, mouse, voice, pen, gesture Output display, sound Changing the Interactions - User Expert HCI for All User-center design Universal usability 2
Changing the Interactions - Changing the Interactions Interaction styles BP Mainframe Personal (PC) Watch iphone, ipad Interactive surfaces e.g., skin, desk, wall Batch processing (BP) Command line (CL) WIMP GUI Pen/voice input interfaces Nonverbal (body language) user interfaces Multimodal user interfaces Haptic user interfaces CL GUI HCI の進化 Interaction styles HCI の 3 つの側面 NUI (Natural User Interface) 直接直観的? 物理世界, 現実世界 インプット 情報仮想世界 BPI (Batch Processing Interface) CLI (Command Line Interface) 非双方的 GUI (Graphical User Interface) 成文化厳格 比喩的探索的 ヒト インプットキーボードマウス声 ペンジェスチャー 相互作用 アウトプット コンピュータ ( ハード / ソフト ) アウトプットディスプレイ音 Micro-HCI One human One computer GUI WIMP Predictive models Input devices Design guidelines Performance User satisfaction Novice/expert Macro-HCI Ubiquitous Pervasive Social embedded Tangible Invisible Multimodal Ambient User experience Emotional impact Aesthetics Shneiderman, B. (2011). Claiming Success, Charting the Future: Micro-HCI and Macro- HCI, Interactions, Vol.5, pp.10-11. Micro-HCI Young/old Literate/illiterate Abled/disabled Gender Culture Ethnicity Motivation Macro-HCI -centered computing Social computing -information interaction -social interaction Commerce Health/wellness Community relationship Shneiderman, B. (2011). Claiming Success, Charting the Future: Micro-HCI and Macro- HCI, Interactions, Vol.5, pp.10-11. 3
サマリー HCI の定義 HCI 三要素,, Interaction HCI のトレンド 狭義 1:1 広義多 : 多 より人間側に進化 HCI 分野の動向 19 20 Why is HCI important? Four research foci in fundamental information technology research component for the 21 st century: Software Interfaces (HCI) and information management Scalable Information Infrastructure ( ネットワーク ) High-end Computing ( 高性能計算機 ) From: The President's Information Technology Advisory Committee (PITAC). Information technology for the twenty-first century: A bold investment in America's future. http://www. ccic. gov/, 1999 Computing Curricula 2001 by IEEE & ACM 1. Discrete Structures (DS) 2. Programming Fundamentals (PF) 3. Algorithms and Complexity (AL) 4. Programming Languages (PL) 5. Architecture and Organization (AR) 6. Operating Systems (OS) 7. Net-Centric Computing (NC) 8. - Interaction (HCI) 本学 2006 年から 9. Graphics and Visual Computing (GV) 10. Intelligent Systems (IS) 11. Information Management (IM) 12. Software Engineering (SE) 13. Social and Professional Issues (SP) 14. Computational Science and Numerical Methods (CN) HCI 国際学会 ACM (Association for Computing Machinery) SIGCHI 2011 年 - Senior Member IEEE (Institute of Electrical and Electronics Engineers) Society 2007 年 - Senior Member HCI 国際学会 IFIP ( 国際情報処理連合会 ) TC.13 INTERACT 2011, 2013 CHI Asia will be established soon 4
HCI in Asia 日本国内インタラクション 600 名 韓国関連の学会 1000 名 台湾 500 名 シンガポール 50 名 APCHI 2012 in Japan (Program Chair) 参加者 240 名 ( 国内約 150 名 海外約 90 名 ) ACM CHI 2015 in Asia HCI 研究機関 - 大学 Carnegie Mellon University (CMU) Interaction Institute (HCII) Master and PhD programs MIT UC Berkeley University of Washington Master program Virginia Tech - CHCI Keio University National University of Singapore Interactive and Digital Media Institute Kochi University of Technology Center for Interaction (CHCI) 25 HCI 研究機関 - 研究所 Microsoft Research New HCI group in Microsoft Research Asia Google IBM Palo Alto Research Center (PARC) INRIA(3000 人をもつ フランス国立情報学自動制御研究所 ) HCI に関する市場 経済規模雇用人口その他 日本の将来を託すことができる産業が生まれるか? KUT が重視すべき教育分野か? The Long Nose $1B 日本が遅れている点 問題点 1984 Early Multi-Touch 2007 iphone MS Surface 学会 企業は盛んにやっているに対して 大学での研究 教育は組織的に対応していない その結果 この分野における人材不足 Radar Invention Refinement & Augmentation Productization 2016 年 7,753 億円 ( 株式会社富士経済 ) (adapted from Bill Buxton at CHI 2011, also see Business Week, Jan 2008) 1945 年 The Watson Scientific Computing Laboratory 世界初のコンピュータサイエンスの基礎カリキュラム 50 年代 IBM がコンピュータサイエンス学科提唱 当時多くの大学は応じなかった 5
サマリー HCI は国家戦略と位置づけされている USA PITAC (1999) JST (2010), 経済産業省 (1998) 125 計画 (2011) 国内外 企業 学会 教育機関は盛んに HCI または HCI 関連の活動を行なっている アジアで HCI に関わる教育研究活動はこれからもっと活発に行なっていく HCI の研究対象とアプローチ 31 32 HCI の 3 つの特徴 物理世界, 現実世界 インプット 情報仮想世界 Technology Design 相互作用 ヒト インプットキーボードマウス声 ペンジェスチャー アウトプット コンピュータ ( ハード / ソフト ) アウトプットディスプレイ音 機械 電気 電子 社会学人類学心理学生理学 製品システム情報デザイン 34 Top-Down: 医療 教育 環境 福祉 ( 高齢者 障害者 ) エネルギー 私の研究手法 Mid-level: ( 各 HCI 関連の国際会議名またはジャーナル名 : e.g., ACM Conference on Ubiquitous Computing, -Robot Interaction, International Conference on Multimodal Interaction ソフトウェア アプリケーション 相互作用技術 Level 3 Level 2 Bottom-up: 技術要素 (e.g., Input and Interaction Technologies 入力技術, Auditory I/O and Sound in the UI, Augmented Reality and Tangible UI) Ren Lab at KUT 35 相互作用 ( コミュニケーション ) を制御する 人間の能力を探る基礎研究 Level 1 36 6
Research Approach software applications Level 3 Interaction techniques Fundamental study exploring the human ability to control interactions using properties Level 2 Level 1 任研の研究内容と実例 37 38 研究内容 HCI 基礎理論の研究 人間の各種入力への制御能力を実測手法で研究 入力デバイスの操作性に影響を及ぼす要因 performance model ( 数学モデル構築 ) 入出力デバイスに適したインタラクション技術 ペン マルチタッチ 視線入力 触覚 Research in Our Group Pen-based interaction ACM CHI 97, ACM TOCHI(2000), J.CST(2003),IJHCI(2009), BIT(2010), INTERACT 97-09, IEICE(1998-2010), IPSJ(2002-2010), ACM CHI 2011, ACM CHI 2012 Multi-touch interaction ACM CHI 2009, ACM UIST 2009, ACM CHI 2012 Eye-based interaction ACM CHI 2008, ACM CHI 2010 performance models IJHCS(2004), IPSJ(2005), BIT(2010), IEICE(2007), INTERACT 09, INTERACT 11 Other projects involved include multimodal interaction, mobile UI, Japanese/Chinese input interface 39 40 近未来の生活の中に もっとさくさんの HCI 近未来の生活 ビデオ Case study 1 Designing Pen-based Interaction ペンインタラクション 42 7
Vannervar Bush Memex (1945) Pen computer potential in the market Sutherland (1963) s SketchPad Douglas Engelbart (1965) Pen/tablet Mark Weiser (1990) s Ubiquitous computing Business Education CG Cartoons Game development Medical records... Mobile phone Middle:tablet PC 43 Small:PDAs Big: electronic whiteboard e-books The potential for further development and application is great indeed. 44 ペン入力 Pen tilt control ability -Tilt Pointing 問題点 : ペン一本で全操作 ( 文字入力 コマンド 描画 ) は困難解決策 : 筆圧 傾き 方位情報でコミュニケーションの幅を拡大 筆圧 (0~1023) 傾き (30 ~ 90 ) 方位角 (0 ~ 359 ) ペンを用いてインプットする場合 位置情報 (X,Y 座標 ) 以外の情報も利用することができる 45 Xin, Y., Bi, X. and Ren, X. (2011). Acquiring and Pointing: An Empirical Study of Pen Tilt-Based Interaction, Proceedings of CHI 2011 (7-12 May 2011, Vancouver, Canada), ACM Press, pp. 849-858. 46 Eraser ペンの傾きを利用して 3 次元対象物を操作 47 Pencil sharper 8
Saxophone Flute Sun, M. Cao, X., Song, H., Izadi, S., Benko, H., Guimbretiere, F., Ren, X., and Hinckley, K. (2011). Enhancing Naturalness of Pen-and-Tablet Drawing through Context Sensing, Proceedings of the ACM Conference on Interactive Tabletops and Surfaces (ITS 2011, 13-16 Nov 2011, Kobe, Japan), ACM Press), pp. 83-86. Various multitouch systems Case study 2 Designing Multi-touch Interaction マルチタッチインタフェース 51 52 指タッチ入力 問題点 : 指先のみで全操作 入力は困難解決策 : 指向 面積 幅などの情報でコミュニケーションの幅を拡大 Inferences From Finger Orientation Estimating the Occlusion Region occlusion region : a circular sector opposite the finger orientation Φ, with the vertex at the center of the finger tip (x, y) the central angle is at approximately δ = 60 Wang, F. and Ren, X. (2009). Empirical Evaluation for Finger Input Properties in Multi-touch Interaction, Proceedings of CHI 2009 (4-9 April 2009, Boston, USA), ACM Press, pp.1063-1072. 53 54 9
Multi-finger mouse emulation Matejka et al. presented SDMouse By considering the orientation of the index finger, we can unambiguously associate fingers with buttons located in a reachable location, regardless of the user s position We present a novel and robust algorithm that accurately and unambiguously detects the orientation vector by considering the dynamics inherent in finger contact. This technique uses contact information only. 55 Wang, F., Cao, X., Ren, X. and Irani, P. (2009). Detecting and Leveraging Finger Orientation for Interaction with Direct-Touch Surfaces, Proceedings of ACM Symposium on User Interface Software and Technology (UIST 2009, October 4-7, 2009, Victoria, BC), ACM Press, pp.23-32. 56 HCI の進化 Emotion? NUI (Natural User Interface) 直接直観的? GUI (Graphical User Interface) 比喩的探索的 今後の研究 BPI (Batch Processing Interface) CLI (Command Line Interface) 非双方的 成文化厳格 57 Game Engagement Serious games do not have entertainments, enjoyment, or fun as their primary purpose. are used for HCI design, such as training, simulation, or education. Game engagement の要素または Mechanisms を抽出できるならば 例えば それらの要素を学習ソフトウェアに組み込めば 学習効果の向上が期待される HCI 研究センター 59 60 10
Center for - Interaction (CHCI) CHCI の設立は世の中の 2 つの大きい流れに合う 組織はピラミッド型からプロジェクト型 研究領域 教育分野では 異なる領域の融合といった学際的分野の形成 CHCI は学内外研究連携のプラットフォーム Technology Design 61 構成員 任向実 ( 併任 ) Postdoc 助手 : Kibum Kim (10 月 ) Postdoc 助手 : Aurélie Cohé(2013 年 1 月 ) 当面の目標 28/63 20/63 ACM DL SIGCHI 62 CHCI Research Strategy KUT Internal Collaboration International Collaboration Internal Collaboration CHCI Internal Collaboration: 1. Brain Center 2. Sensors 3. Robot Interaction 4. Psychophysics 5... International Collaboration: 1. Microsoft Research 2. Google 3. University of Toronto 4. CAS 5. Sensors Perception Robotic Interaction HCI Psychophysics Brain 生命の中で 真的重要な物は ( 地位 富 名誉ではなく ) 意味のある関係 (meaningful relationship) 新しいコンセプト作り (creating meaning) インパクト (Making a difference) Manfred F.R. Kets de Vries (2009) Clinical professor of leadership development at INSEAD (European Institute of Business Administration) ( 研究的 ) 教育 65 66 11
若者の国際交流 研究業績 Tu 君 at ACM CHI 2012 台湾 APCHI 2006 論文賞受賞 ACM 学会の論文掲載を目標 HCI International 2003 in Greece APCHI 2012 論文賞受賞 ACM のデータベース情報分野の最大データベース http://portal.acm.org/author_page.cfm?id=81100597892&cfi D=7129260&CFTOKEN=43968016 DBLP(Digital Bibliography & Library Project) http://www.informatik.uni-trier.de/~ley/db/indices/atree/r/ren:xiangshi.html Google scholar 学術論文検索用エンジン http://scholar.google.co.jp/scholar?q=xiangshi+ren&hl=ja&b tng=%e6%a4%9c%e7%b4%a2&lr MicroSoft Libra http://academic.research.microsoft.com/author/3335436/xi angshi-ren?query=xiangshi%20ren Year Organization CHI 2008 CHI 2009 CHI 2010 Papers:Pos for control Papers:High Accuracy Position and Papers:Ninja Cursors: Using electr Papers:Magic Cards: A Paper Tag Orientation Detection in Two- The University of Tokyo Multiple Cursors to Assist Target Interface for Implicit Robot Control Dimensional Communication Acquisition on Large Screens Network Papers:Aug Gustatory Marker and Papers:Empirical Evaluation for Papers:Ac Kochi University of Technology Papers:Improving Eye Cursor's Papers:Modeling Dwell-Based Eye Finger Input Properties In Multitouch Interaction Empirical (Ren Lab) Stability for Eye Pointing Tasks Pointing Target Acquisition Papers:Precision Timing in -Robot Interaction: Future University-Hakodate Coordination of Head Movement and Utterance University of Electro- Papers:Transparent 2-D Markers on Communications an LCD Tabletop System Papers:R Papers:Magic Cards: A Papers Tag Sketchin JST ERATO ACM CHIでInterface Full for Implicit Robot Control を連続 5 年間 Housew Papers:An A NAIST AIST as an Input 発表できるアジアの研究機関は D National Institute of Advanced Papers:Familial Collaborations in a Industrial Science and KUTと東京大学 Museum Technology Papers NTT Cyber Solutions Capturing Laboratories, NTT Corporation Scanner 研究業績 研究費 ( 計 23 件 ) 科研費基盤 B 科研費基盤 C 科研費若手 B JST 未踏ソフトウェア事業 マイクロソフト共同研究プロジェクト 2 回 博士 9 名誕生 NTT Communication Science Lab Papers:Difficulties in Establishing Common Ground in Multiparty Groups using Machine Translation Papers:Su Collabor Pape Identificat w 70 国際活動 研究訪問 招待講演 2001-2010 年 IBM Research (Almaden) 2006 年 University of Washington (Seattle) 2010 年 University of Toronto (Toronto), Autodesk Research 2011 年 Microsoft Research Asia, University of Alberta 2012 年 University of Huston 2012 年 Microsoft Research Asia Faculty Summit 2012 多くの中国の大学 共同研究 ( 共著論文発表 ) IBM Research Google Research Microsoft Research Nokia Research Center University of Toronto University of Washington University of Manitoba National University of Singapore 中国科学院 Ben Shneiderman (1998) There are so many important problems to solve that there is room for everyone to contribute: jobs can be more rewarding, communities can be safer, and lives can be happier. Each one of us can make a difference. The time to begin is now and the leader to look to is you. 本当にたくさんの問題を解決しなければならない. だからだれでも貢献するチャンスがある. 仕事はもっとやりがいがあるようになる. コミュニケーションはより安全に進められる. そして生活はより幸福になれる. だれでも新しい世界を切り開くことができる! スタートの時は今だ. そして期待されるリーダーはあなた! 12
まとめ 多くの仕事を待っている 急げ! There is much to be done. Let s get on with it! Ben Shneiderman (2011): Claiming Success, Charting the Future: Micro- HCI and Macro-HCI, Interactions, Vol.5, 10-11, 2011. With Prof. Ben Shneiderman at HCI International 97 1.HCI とそのtrends 2.HCI 分野の国際情勢 3.HCIの研究対象とアプローチ 4. 任研の研究内容と実例 5. 今後の研究 (CHCI 含み ) と教育 13