国際会議 ACM CHI ( ) HCI で生まれた研究例 2012/10/3 人とコンピュータの相互作用 WHAT IS HCI? (Human-Computer Interaction (HCI)

Size: px

Start display at page:

Download "国際会議 ACM CHI ( ) HCI で生まれた研究例 2012/10/3 人とコンピュータの相互作用 WHAT IS HCI? (Human-Computer Interaction (HCI)"

Christina Carson
5 years ago
Views:

人とコンピュータの相互作用 (- Interaction (HCI) - 研究の最前線 -

2 HCI で生まれた研究例 GUI (Graphical User Interface) PCの普及 Webの普及

Man- Symbiosis, Transactions on Factors in Electronics,

Cybernetics GUI: Graphical User Interface Windows マイケル

Hypertext Multimedia 所とコンピュータエイジの黎明, 毎日コミュニケーションズ (2001.

Engelbart 氏の事務所にて Norbert Wiener (1948) 計算機の周辺 ( インタフェース )

1978 National Medal of Science 1986 von Neumann Theory

1 人とコンピュータの相互作用 (- Interaction (HCI) - 研究の最前線 - 任向実高知工科大学情報学群 WHAT IS HCI? 2 HCI で生まれた研究例 GUI (Graphical User Interface) PCの普及 Webの普及 J. C. R. Licklider (1960). Man- Symbiosis, Transactions on Factors in Electronics, volume HFE-1, pages Cybernetics GUI: Graphical User Interface Windows マイケルヒルツィック : 未来をつくった人々ゼロックスパロアルト研究 ipad Windows Mouse CSCW Hypertext Multimedia 所とコンピュータエイジの黎明, 毎日コミュニケーションズ ( ) 年 Douglas C. Engelbart 氏の事務所にて Norbert Wiener (1948) 計算機の周辺 ( インタフェース ) も研究する必要国際会議 ACM CHI ( ) 参加者毎年 3000 人 ACM への貢献度 2 位 top 2 among ACM conferences Herbert A. Simon Turing Award 1975 Nobel Prize in Economics 1978 National Medal of Science 1986 von Neumann Theory Prize CHI 2013 (Associate Program Chair) CHI 2015 in Asia ACM conferences ACM CHI 6 1

科学技術計算の分野ではすでに限界に近い成果が上がっているがもっとも立ち遅れているのは HCI computer interaction (HCI) is a discipline concerned with the design, evaluation and

From: ACM SIGCHI Curricula for HCI (Hewett et al. 1992) http://sigchi.org/cdg/cdg2.

2 HCI 研究が盛んになった What is HCI? ネットワーク ( インターネット ) ネットワーク ( インターネット ) 情報 / メッセージの流通分布 HCI は有効性生産性意欲安全性に大きな影響を及ぼすコンピュータのハードウェアの迅速発展に比べてコンピュータの普及と高効率利用がボトルネックとなった科学技術計算の分野ではすでに限界に近い成果が上がっているがもっとも立ち遅れているのは HCI computer interaction (HCI) is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding them. From: ACM SIGCHI Curricula for HCI (Hewett et al. 1992) HCI の 3 つの側面 TRENDS IN HCI 9 ヒトインプットキーボードマウス声ペンジェスチャーインプット相互作用アウトプットコンピュータ ( ハード / ソフト ) アウトプットディスプレイ音 Three Aspects of HCI input Interaction output Input (hardware/software) keyboard, mouse, voice, pen, gesture Output display, sound Changing the Interactions - User Expert HCI for All User-center design Universal usability 2

Changing the Interactions - Changing the Interactions Interaction styles BP Mainframe Personal (PC) Watch iphone, ipad Interactive

, skin, desk, wall Batch processing (BP) Command line (CL) WIMP GUI Pen/voice input interfaces Nonverbal (body language) user

ヒトインプットキーボードマウス声ペンジェスチャー相互作用アウトプットコンピュータ ( ハード / ソフト ) アウトプットディスプレイ音 Micro-HCI One human One computer GUI WIMP Predictive models

Invisible Multimodal Ambient User experience Emotional impact Aesthetics Shneiderman, B. (2011).

3 Changing the Interactions - Changing the Interactions Interaction styles BP Mainframe Personal (PC) Watch iphone, ipad Interactive surfaces e.g., skin, desk, wall Batch processing (BP) Command line (CL) WIMP GUI Pen/voice input interfaces Nonverbal (body language) user interfaces Multimodal user interfaces Haptic user interfaces CL GUI HCI の進化 Interaction styles HCI の 3 つの側面 NUI (Natural User Interface) 直接直観的? 物理世界, 現実世界インプット情報仮想世界 BPI (Batch Processing Interface) CLI (Command Line Interface) 非双方的 GUI (Graphical User Interface) 成文化厳格比喩的探索的ヒトインプットキーボードマウス声ペンジェスチャー相互作用アウトプットコンピュータ ( ハード / ソフト ) アウトプットディスプレイ音 Micro-HCI One human One computer GUI WIMP Predictive models Input devices Design guidelines Performance User satisfaction Novice/expert Macro-HCI Ubiquitous Pervasive Social embedded Tangible Invisible Multimodal Ambient User experience Emotional impact Aesthetics Shneiderman, B. (2011). Claiming Success, Charting the Future: Micro-HCI and Macro- HCI, Interactions, Vol.5, pp Micro-HCI Young/old Literate/illiterate Abled/disabled Gender Culture Ethnicity Motivation Macro-HCI -centered computing Social computing -information interaction -social interaction Commerce Health/wellness Community relationship Shneiderman, B. (2011). Claiming Success, Charting the Future: Micro-HCI and Macro- HCI, Interactions, Vol.5, pp

4 サマリー HCI の定義 HCI 三要素,, Interaction HCI のトレンド狭義 1:1 広義多 : 多より人間側に進化 HCI 分野の動向 Why is HCI important? Four research foci in fundamental information technology research component for the 21 st century: Software Interfaces (HCI) and information management Scalable Information Infrastructure ( ネットワーク ) High-end Computing ( 高性能計算機 ) From: The President's Information Technology Advisory Committee (PITAC). Information technology for the twenty-first century: A bold investment in America's future. ccic. gov/, 1999 Computing Curricula 2001 by IEEE & ACM 1. Discrete Structures (DS) 2. Programming Fundamentals (PF) 3. Algorithms and Complexity (AL) 4. Programming Languages (PL) 5. Architecture and Organization (AR) 6. Operating Systems (OS) 7. Net-Centric Computing (NC) 8. - Interaction (HCI) 本学 2006 年から 9. Graphics and Visual Computing (GV) 10. Intelligent Systems (IS) 11. Information Management (IM) 12. Software Engineering (SE) 13. Social and Professional Issues (SP) 14. Computational Science and Numerical Methods (CN) HCI 国際学会 ACM (Association for Computing Machinery) SIGCHI 2011 年 - Senior Member IEEE (Institute of Electrical and Electronics Engineers) Society 2007 年 - Senior Member HCI 国際学会 IFIP ( 国際情報処理連合会 ) TC.13 INTERACT 2011, 2013 CHI Asia will be established soon 4

HCI in Asia 日本国内インタラクション 600 名韓国関連の学会 1000 名台湾 500 名シンガポール 50 名 APCHI 2012 in Japan (Program Chair) 参加者 240 名 ( 国内約 150 名海外約 90 名 ) ACM CHI 2015 in Asia HCI 研究機関 - 大学 Carnegie Mellon University

5 HCI in Asia 日本国内インタラクション 600 名韓国関連の学会 1000 名台湾 500 名シンガポール 50 名 APCHI 2012 in Japan (Program Chair) 参加者 240 名 ( 国内約 150 名海外約 90 名 ) ACM CHI 2015 in Asia HCI 研究機関 - 大学 Carnegie Mellon University (CMU) Interaction Institute (HCII) Master and PhD programs MIT UC Berkeley University of Washington Master program Virginia Tech - CHCI Keio University National University of Singapore Interactive and Digital Media Institute Kochi University of Technology Center for Interaction (CHCI) 25 HCI 研究機関 - 研究所 Microsoft Research New HCI group in Microsoft Research Asia Google IBM Palo Alto Research Center (PARC) INRIA(3000 人をもつフランス国立情報学自動制御研究所 ) HCI に関する市場経済規模雇用人口その他日本の将来を託すことができる産業が生まれるか? KUT が重視すべき教育分野か? The Long Nose $1B 日本が遅れている点問題点 1984 Early Multi-Touch 2007 iphone MS Surface 学会企業は盛んにやっているに対して大学での研究教育は組織的に対応していないその結果この分野における人材不足 Radar Invention Refinement & Augmentation Productization 2016 年 7,753 億円 ( 株式会社富士経済 ) (adapted from Bill Buxton at CHI 2011, also see Business Week, Jan 2008) 1945 年 The Watson Scientific Computing Laboratory 世界初のコンピュータサイエンスの基礎カリキュラム 50 年代 IBM がコンピュータサイエンス学科提唱当時多くの大学は応じなかった 5

6 サマリー HCI は国家戦略と位置づけされている USA PITAC (1999) JST (2010), 経済産業省 (1998) 125 計画 (2011) 国内外企業学会教育機関は盛んに HCI または HCI 関連の活動を行なっているアジアで HCI に関わる教育研究活動はこれからもっと活発に行なっていく HCI の研究対象とアプローチ HCI の 3 つの特徴物理世界, 現実世界インプット情報仮想世界 Technology Design 相互作用ヒトインプットキーボードマウス声ペンジェスチャーアウトプットコンピュータ ( ハード / ソフト ) アウトプットディスプレイ音機械電気電子社会学人類学心理学生理学製品システム情報デザイン 34 Top-Down: 医療教育環境福祉 ( 高齢者障害者 ) エネルギー私の研究手法 Mid-level: ( 各 HCI 関連の国際会議名またはジャーナル名 : e.g., ACM Conference on Ubiquitous Computing, -Robot Interaction, International Conference on Multimodal Interaction ソフトウェアアプリケーション相互作用技術 Level 3 Level 2 Bottom-up: 技術要素 (e.g., Input and Interaction Technologies 入力技術, Auditory I/O and Sound in the UI, Augmented Reality and Tangible UI) Ren Lab at KUT 35 相互作用 ( コミュニケーション ) を制御する人間の能力を探る基礎研究 Level

7 Research Approach software applications Level 3 Interaction techniques Fundamental study exploring the human ability to control interactions using properties Level 2 Level 1 任研の研究内容と実例研究内容 HCI 基礎理論の研究人間の各種入力への制御能力を実測手法で研究入力デバイスの操作性に影響を及ぼす要因 performance model ( 数学モデル構築 ) 入出力デバイスに適したインタラクション技術ペンマルチタッチ視線入力触覚 Research in Our Group Pen-based interaction ACM CHI 97, ACM TOCHI(2000), J.CST(2003),IJHCI(2009), BIT(2010), INTERACT 97-09, IEICE( ), IPSJ( ), ACM CHI 2011, ACM CHI 2012 Multi-touch interaction ACM CHI 2009, ACM UIST 2009, ACM CHI 2012 Eye-based interaction ACM CHI 2008, ACM CHI 2010 performance models IJHCS(2004), IPSJ(2005), BIT(2010), IEICE(2007), INTERACT 09, INTERACT 11 Other projects involved include multimodal interaction, mobile UI, Japanese/Chinese input interface 近未来の生活の中にもっとさくさんの HCI 近未来の生活ビデオ Case study 1 Designing Pen-based Interaction ペンインタラクション 42 7

8 Vannervar Bush Memex (1945) Pen computer potential in the market Sutherland (1963) s SketchPad Douglas Engelbart (1965) Pen/tablet Mark Weiser (1990) s Ubiquitous computing Business Education CG Cartoons Game development Medical records... Mobile phone Middle:tablet PC 43 Small:PDAs Big: electronic whiteboard e-books The potential for further development and application is great indeed. 44 ペン入力 Pen tilt control ability -Tilt Pointing 問題点 : ペン一本で全操作 ( 文字入力コマンド描画 ) は困難解決策 : 筆圧傾き方位情報でコミュニケーションの幅を拡大筆圧 (0~1023) 傾き (30 ~ 90 ) 方位角 (0 ~ 359 ) ペンを用いてインプットする場合位置情報 (X,Y 座標 ) 以外の情報も利用することができる 45 Xin, Y., Bi, X. and Ren, X. (2011). Acquiring and Pointing: An Empirical Study of Pen Tilt-Based Interaction, Proceedings of CHI 2011 (7-12 May 2011, Vancouver, Canada), ACM Press, pp Eraser ペンの傾きを利用して 3 次元対象物を操作 47 Pencil sharper 8

Saxophone Flute Sun, M. Cao, X., Song, H., Izadi, S., Benko, H.

Enhancing Naturalness of Pen-and-Tablet Drawing through Context

Tabletops and Surfaces (ITS 2011, 13-16 Nov 2011, Kobe, Japan),

Various multitouch systems Case study 2 Designing Multi-touch

指向面積幅などの情報でコミュニケーションの幅を拡大 Inferences From Finger Orientation

sector opposite the finger orientation Φ, with the vertex at the

approximately δ = 60 Wang, F. and Ren, X. (2009).

9 Saxophone Flute Sun, M. Cao, X., Song, H., Izadi, S., Benko, H., Guimbretiere, F., Ren, X., and Hinckley, K. (2011). Enhancing Naturalness of Pen-and-Tablet Drawing through Context Sensing, Proceedings of the ACM Conference on Interactive Tabletops and Surfaces (ITS 2011, Nov 2011, Kobe, Japan), ACM Press), pp Various multitouch systems Case study 2 Designing Multi-touch Interaction マルチタッチインタフェース指タッチ入力問題点 : 指先のみで全操作入力は困難解決策 : 指向面積幅などの情報でコミュニケーションの幅を拡大 Inferences From Finger Orientation Estimating the Occlusion Region occlusion region : a circular sector opposite the finger orientation Φ, with the vertex at the center of the finger tip (x, y) the central angle is at approximately δ = 60 Wang, F. and Ren, X. (2009). Empirical Evaluation for Finger Input Properties in Multi-touch Interaction, Proceedings of CHI 2009 (4-9 April 2009, Boston, USA), ACM Press, pp

Multi-finger mouse emulation Matejka et al.

present a novel and robust algorithm that accurately and unambiguously detects the orientation vector by considering the dynamics inherent in finger contact.

Detecting and Leveraging Finger Orientation for Interaction with Direct-Touch Surfaces, Proceedings of ACM Symposium on User Interface Software and Technology (UIST 2009, October 4-7, 2009,

10 Multi-finger mouse emulation Matejka et al. presented SDMouse By considering the orientation of the index finger, we can unambiguously associate fingers with buttons located in a reachable location, regardless of the user s position We present a novel and robust algorithm that accurately and unambiguously detects the orientation vector by considering the dynamics inherent in finger contact. This technique uses contact information only. 55 Wang, F., Cao, X., Ren, X. and Irani, P. (2009). Detecting and Leveraging Finger Orientation for Interaction with Direct-Touch Surfaces, Proceedings of ACM Symposium on User Interface Software and Technology (UIST 2009, October 4-7, 2009, Victoria, BC), ACM Press, pp HCI の進化 Emotion? NUI (Natural User Interface) 直接直観的? GUI (Graphical User Interface) 比喩的探索的今後の研究 BPI (Batch Processing Interface) CLI (Command Line Interface) 非双方的成文化厳格 57 Game Engagement Serious games do not have entertainments, enjoyment, or fun as their primary purpose. are used for HCI design, such as training, simulation, or education. Game engagement の要素または Mechanisms を抽出できるならば例えばそれらの要素を学習ソフトウェアに組み込めば学習効果の向上が期待される HCI 研究センター

Center for - Interaction (CHCI) CHCI の設立は世の中の 2 つの大きい流れに合う組織はピラミッド型からプロジェクト型研究領域教育分野では異なる領域の融合といった学際的分野の形成 CHCI は学内外研究連携のプラットフォーム Technology Design

Internal Collaboration International Collaboration Internal Collaboration CHCI Internal Collaboration: 1. Brain Center 2. Sensors 3.

Sensors Perception Robotic Interaction HCI Psychophysics Brain 生命の中で真的重要な物は ( 地位富名誉ではなく ) 意味のある関係 (meaningful relationship) 新しいコンセプト作り (creating

11 Center for - Interaction (CHCI) CHCI の設立は世の中の 2 つの大きい流れに合う組織はピラミッド型からプロジェクト型研究領域教育分野では異なる領域の融合といった学際的分野の形成 CHCI は学内外研究連携のプラットフォーム Technology Design 61 構成員任向実 ( 併任 ) Postdoc 助手 : Kibum Kim (10 月 ) Postdoc 助手 : Aurélie Cohé(2013 年 1 月 ) 当面の目標 28/63 20/63 ACM DL SIGCHI 62 CHCI Research Strategy KUT Internal Collaboration International Collaboration Internal Collaboration CHCI Internal Collaboration: 1. Brain Center 2. Sensors 3. Robot Interaction 4. Psychophysics 5... International Collaboration: 1. Microsoft Research 2. Google 3. University of Toronto 4. CAS 5. Sensors Perception Robotic Interaction HCI Psychophysics Brain 生命の中で真的重要な物は ( 地位富名誉ではなく ) 意味のある関係 (meaningful relationship) 新しいコンセプト作り (creating meaning) インパクト (Making a difference) Manfred F.R. Kets de Vries (2009) Clinical professor of leadership development at INSEAD (European Institute of Business Administration) ( 研究的 ) 教育

若者の国際交流研究業績 Tu 君 at ACM CHI 2012 台湾 APCHI 2006 論文賞受賞 ACM 学会の論文掲載を目標 HCI International 2003 in Greece APCHI 2012 論文賞受賞 ACM のデータベース情報分野の最大データベース http://portal.acm.org/author_page.cfm?

html Google scholar 学術論文検索用エンジン http://scholar.google.co.jp/scholar?q=xiangshi+ren&hl=ja&b tng=%e6%a4%9c%e7%b4%a2&lr MicroSoft Libra http://academic.research.microsoft.

query=xiangshi%20ren Year Organization CHI 2008 CHI 2009 CHI 2010 Papers:Pos for control Papers:High Accuracy Position and Papers:Ninja Cursors: Using electr Papers:Magic Cards: A Paper Tag

12 若者の国際交流研究業績 Tu 君 at ACM CHI 2012 台湾 APCHI 2006 論文賞受賞 ACM 学会の論文掲載を目標 HCI International 2003 in Greece APCHI 2012 論文賞受賞 ACM のデータベース情報分野の最大データベース D= &CFTOKEN= DBLP(Digital Bibliography & Library Project) Google scholar 学術論文検索用エンジン tng=%e6%a4%9c%e7%b4%a2&lr MicroSoft Libra angshi-ren?query=xiangshi%20ren Year Organization CHI 2008 CHI 2009 CHI 2010 Papers:Pos for control Papers:High Accuracy Position and Papers:Ninja Cursors: Using electr Papers:Magic Cards: A Paper Tag Orientation Detection in Two- The University of Tokyo Multiple Cursors to Assist Target Interface for Implicit Robot Control Dimensional Communication Acquisition on Large Screens Network Papers:Aug Gustatory Marker and Papers:Empirical Evaluation for Papers:Ac Kochi University of Technology Papers:Improving Eye Cursor's Papers:Modeling Dwell-Based Eye Finger Input Properties In Multitouch Interaction Empirical (Ren Lab) Stability for Eye Pointing Tasks Pointing Target Acquisition Papers:Precision Timing in -Robot Interaction: Future University-Hakodate Coordination of Head Movement and Utterance University of Electro- Papers:Transparent 2-D Markers on Communications an LCD Tabletop System Papers:R Papers:Magic Cards: A Papers Tag Sketchin JST ERATO ACM CHIでInterface Full for Implicit Robot Control を連続 5 年間 Housew Papers:An A NAIST AIST as an Input 発表できるアジアの研究機関は D National Institute of Advanced Papers:Familial Collaborations in a Industrial Science and KUTと東京大学 Museum Technology Papers NTT Cyber Solutions Capturing Laboratories, NTT Corporation Scanner 研究業績研究費 ( 計 23 件 ) 科研費基盤 B 科研費基盤 C 科研費若手 B JST 未踏ソフトウェア事業マイクロソフト共同研究プロジェクト 2 回博士 9 名誕生 NTT Communication Science Lab Papers:Difficulties in Establishing Common Ground in Multiparty Groups using Machine Translation Papers:Su Collabor Pape Identificat w 70 国際活動研究訪問招待講演年 IBM Research (Almaden) 2006 年 University of Washington (Seattle) 2010 年 University of Toronto (Toronto), Autodesk Research 2011 年 Microsoft Research Asia, University of Alberta 2012 年 University of Huston 2012 年 Microsoft Research Asia Faculty Summit 2012 多くの中国の大学共同研究 ( 共著論文発表 ) IBM Research Google Research Microsoft Research Nokia Research Center University of Toronto University of Washington University of Manitoba National University of Singapore 中国科学院 Ben Shneiderman (1998) There are so many important problems to solve that there is room for everyone to contribute: jobs can be more rewarding, communities can be safer, and lives can be happier. Each one of us can make a difference. The time to begin is now and the leader to look to is you. 本当にたくさんの問題を解決しなければならない. だからだれでも貢献するチャンスがある. 仕事はもっとやりがいがあるようになる. コミュニケーションはより安全に進められる. そして生活はより幸福になれる. だれでも新しい世界を切り開くことができる! スタートの時は今だ. そして期待されるリーダーはあなた! 12

13 まとめ多くの仕事を待っている急げ! There is much to be done. Let s get on with it! Ben Shneiderman (2011): Claiming Success, Charting the Future: Micro- HCI and Macro-HCI, Interactions, Vol.5, 10-11, With Prof. Ben Shneiderman at HCI International 97 1.HCI とそのtrends 2.HCI 分野の国際情勢 3.HCIの研究対象とアプローチ 4. 任研の研究内容と実例 5. 今後の研究 (CHCI 含み ) と教育 13

Intermediate Conversation Material #10

Intermediate Conversation Material #10 OUR AGENDA FOR TODAY At work Exercise 1: Picture Conversation A. Read the dialogue below. 次の会話を読んでみましょう Ms. Jefferson, what s our agenda for today s meeting? Our